VarDiU: A Variational Diffusive Upper Bound for One-Step Diffusion Distillation
University College London(伦敦大学学院);Imperial College London(伦敦帝国学院)
针对扩散蒸馏中基于DSM的梯度估计有偏问题,提出VarDiU变分扩散上界及无偏梯度估计器,相较Diff-Instruct提升生成质量并改善训练效率与稳定性。
2025-08-28 cs.LG
Variational Gaussian Process Diffusion Processes
Aalto University(阿尔托大学);University Pompeu Fabra(庞培法布拉大学)
针对非线性扩散过程先验下推断不可处理的问题,本文提出基于位点指数族的高斯变分过程参数化,将不动点推断转化为类自然梯度的凸优化,并改善参数学习目标。
2024-02-27 cs.LG stat.ML
Diffusion Alignment as Variational Expectation-Maximization
KAIST(韩国科学技术院);MongooseAI;Mila - Quebec AI Institute(魁北克人工智能研究所);University of Edinburgh(爱丁堡大学);Mila, Université de Montréal(魁北克大学Mila);Omelet
DAV通过变分期望最大化框架,在文本生成和DNA设计中实现奖励优化与多样性保持。
2026-03-06 cs.LG
Langevin Diffusion Variational Inference
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
存在许多基于未调整的朗之万跃迁构建强大的变分分布的方法。其中大多数是使用各种不同的方法和技术开发的。不幸的是,缺乏统一的分析和推导使得开发新方法和对现有方法进行推理成为一项具有挑战性的任务。我们解决这个问题,给出一个单一的分析,统一和概括这些现有的技术。其主要思想是通过数值模拟欠阻尼朗之万扩散过程及其时间反演来增加目标和变分。这种方法的好处是双重的:它为许多现有的方法提供了一个统一的公式,并简化了新方法的开发。事实上,使用我们的配方,我们提出了一种新的方法,结合了以前现有的算法的优势,它使用欠阻尼Langevin转换和强大的增强参数化的分数网络。我们的实证评估表明,我们提出的方法在广泛的任务中始终优于相关基线。
2023-03-23 cs.LG
Physics-aware Reduced-order Modeling of Transonic Flow via $β$-Variational Autoencoder
Seoul National University(首尔国立大学)
基于自动编码器的降阶建模(ROM)最近引起了极大的关注,由于其能够捕捉潜在的非线性特征。然而,两个关键的缺点严重破坏了它的可扩展性,各种物理应用:纠缠,因此无法解释的潜在变量(LV)和盲目确定潜在的空间维度。在这方面,本研究提出的物理感知ROM只使用可解释的和信息密集型的LV提取的$β$变分自动编码器,这被称为物理感知LV在本文中。为了提取这些LV,他们的独立性和信息强度定量审查在一个二维跨音速流基准问题。然后,深入研究了物理感知LV的物理意义,并证实了通过适当的超参数$β$,它们实际上对应于训练数据集的生成因子,马赫数和迎角。据作者所知,我们的工作是第一个实际证实,$β$ -变分自动编码器可以自动提取的物理生成因子在应用物理领域。最后,物理感知ROM,它只利用物理感知的LV,与传统的ROM进行了比较,并成功地验证了其有效性和效率。
2022-06-09 cs.LG physics.flu-dyn
Schödinger Bridge Type Diffusion Models as an Extension of Variational Autoencoders
Institute of Science Tokyo(东京科学大学);Tohoku University(东北大学);Sigma-i Co., Ltd.(Sigma-i 有限公司)
本文将薛定谔桥型扩散模型重新解释为变分自编码器的扩展,提出统一框架并利用数据处理不等式,揭示其目标函数由先验损失和漂移匹配两部分组成。
2024-12-24 cs.LG
Diffusion Bridge Variational Inference for Deep Gaussian Processes
RIKEN AIP;Columbia University(哥伦比亚大学)
本文提出DBVI,通过学习的数据依赖初始分布改进DDVI,提升大规模深度高斯过程的推断效率和准确性。
2026-02-12 cs.LG
Diffusion Variational Autoencoders
Eindhoven University of Technology(埃因霍温理工大学)
具有欧几里得潜在空间的标准变分自编码器在结构上不能捕获某些数据集的拓扑特性。为了消除拓扑障碍,我们引入了扩散变分自编码器与任意流形作为潜在空间。扩散变分自编码器使用流形上布朗运动的过渡核。特别是,它使用布朗运动的性质来实现重新参数化技巧和快速逼近KL散度。我们证明了扩散变分自编码器能够捕获合成数据集的拓扑特性。此外,我们训练MNIST球,环面,射影空间,SO(3),和一个环面嵌入R3。虽然像MNIST这样的自然数据集没有具有明确拓扑结构的潜在变量,但在流形上训练它仍然可以突出拓扑和几何属性。
2019-03-28 cs.LG stat.ML
Rethinking Sharpness-Aware Minimization as Variational Inference
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
锐度感知最小化(SAM)旨在通过寻找平坦最小值来提高基于梯度的学习的泛化能力。在这项工作中,我们建立SAM和平均场变分推断(MFVI)的神经网络参数之间的联系。我们发现,这两种方法都有解释为优化的平坦度的概念,当使用的reparametrisation技巧,他们都归结为计算在当前的平均参数的扰动版本的梯度。这种想法激发了我们对SAM和MFVI之间组合或插值的算法的研究。我们在几个基准数据集上评估了所提出的变分算法,并将其性能与SAM的变体进行了比较。从更广泛的角度来看,我们的工作表明,SAM类更新可以用作重新参数化技巧的替代品。
2022-10-19 cs.LG stat.ML
State-Aware Variational Thompson Sampling for Deep Q-Networks
National University of Singapore(新加坡国立大学)
汤普森采样是一种众所周知的方法,用于平衡强化学习中的探索和利用。它需要维护值-动作函数的后验分布;这对于具有高维状态-动作空间的任务来说通常是难以处理的。我们推导出DQNs的变分Thompson采样近似,它使用一个深度网络,其参数被学习到的变分噪声分布扰动。我们解释成功的NoisyNets方法\cite{fortunato2018noisy}作为一个近似的变分汤普森采样方法,我们得到的。此外,我们提出了状态感知噪声探索(SANE),它旨在通过允许非均匀扰动来改善NoisyNets,其中参数扰动的量取决于代理的状态。这是在辅助扰动模块的帮助下完成的,辅助扰动模块的输出是状态相关的,并且通过梯度下降来学习端到端。我们假设,这种状态感知的嘈杂的探索是特别有用的问题,在某些\textit{high risk}状态的探索可能会导致代理失败严重。我们证明了状态感知的探索方法的有效性,在关闭政策设置通过增加DQNs与辅助扰动模块。
2021-02-07 cs.AI cs.LG
Variational Masked Diffusion Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出变分掩码扩散(VMD),通过引入潜变量显式建模令牌间依赖,提升离散生成质量与全局一致性,在合成数据、数独和文本上验证有效。
2025-10-27 cs.AI cs.CL cs.LG
Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization
ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学)
提出Q加权变分策略优化(QVPO)算法,利用扩散策略的多模态与探索能力,通过Q加权变分损失和熵正则化,在MuJoCo基准上实现最先进的累积奖励与样本效率。
2024-12-16 cs.LG
TimeCatcher: A Variational Framework for Volatility-Aware Forecasting of Non-Stationary Time Series
University of Electronic Science and Technology of China(电子科学与技术大学);Shenzhen Institute for Advanced Study, UESTC(深圳先进研究 institute, UESTC)
TimeCatcher通过变分编码器和波动感知增强机制,提升非平稳时间序列的长期预测性能。
2026-01-28 cs.LG
PIVONet: A Physically-Informed Variational Neuro ODE Model for Efficient Advection-Diffusion Fluid Simulation
Division of Engineering Science University of Toronto(工程科学系 马他大学)
PIVONet结合神经ODE与连续归一化流,通过变分方法实现高效且能捕捉湍流的流体模拟。
2026-01-06 cs.CE cs.LG
Stochastic Differential Equations with Variational Wishart Diffusions
Technical University of Denmark(丹麦技术大学);University College London(伦敦大学学院);G-Research
我们提出了一个贝叶斯非参数的方法来推断随机微分方程的回归任务和连续时间动态建模。这项工作高度重视微分方程的随机部分,也被称为扩散,并通过Wishart过程对其进行建模。此外,我们提出了一个半参数的方法,允许框架扩展到高维。这成功地引导我们如何对具有条件异方差噪声的潜在和自回归时间系统进行建模。我们提供的实验证据表明,建模扩散往往可以提高性能,这种随机性的微分方程可以是必不可少的,以避免过拟合。
2020-06-26 cs.LG stat.ML
A Variational Topological Neural Model for Cascade-based Diffusion in Networks
Sorbonne Université(巴黎索邦大学);LIP6(巴黎第六大学(LIP6))
在文献中已经提出了许多工作来捕捉网络中的扩散动力学。虽然他们中的一些人定义了图形马尔可夫模型来提取网络中节点感染之间的时间关系,但其他人认为扩散事件是通过递归神经模型的感染序列。在本文中,我们提出了一个模型在这两个极端的十字路口,它嵌入了历史的感染节点的扩散作为隐藏的连续状态。根据内容在到达给定节点之前所遵循的轨迹,影响概率的分布可能会有所不同。然而,内容轨迹通常隐藏在数据中,这会导致具有挑战性的学习问题。我们提出了一个拓扑递归神经模型,具有良好的实验性能的扩散建模和预测。
2018-12-28 cs.LG cs.SI stat.ML
Fast and Robust Likelihood-Guided Diffusion Posterior Sampling with Amortized Variational Inference
Institute of Foundation Models, MBZUAI(基础模型研究所,MBZUAI);Huawei Lagrange Mathematics and Computing Research Center, Paris, France(华为拉格朗日数学与计算研究中心,法国巴黎);Mohamed Bin Zayed University of AI, Chair of the ML Department, EPITA, Laboratoire Recherche de l'EPITA(穆罕默德·本·扎耶德人工智能大学,机器学习系主任,EPITA,EPITA研究实验室)
本文提出一种快速且稳健的扩散后验采样方法,通过幅度化变分推断保留显式似然引导,提升逆问题的效率与鲁棒性。
2026-02-06 cs.AI cs.LG stat.ML
Uncertainty-aware data assimilation through variational inference
Institute of Coastal Systems(海岸系统研究所);Helmholtz-Zentrum Hereon(亥姆霍兹中心Hereon)
本文提出了一种基于变分推断的数据同化方法,通过多元正态分布建模预测状态,提升预测校准精度并扩展数据同化应用。
2026-02-27 cs.LG stat.ML
Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Stanford University(斯坦福大学);Stanford Stroke Center(斯坦福中风中心);Institute for Biomedical Engineering(生物医学工程研究所)
我们表明,高质量,多样化和逼真的扩散加权磁共振图像可以使用深生成模型合成。基于专业神经放射学家的评价和不同的指标,就所生成的合成脑图像的质量和多样性,我们提出了两个网络,内省变分自编码器和基于样式的GAN,有资格在医疗领域的数据增强,其中信息被保存在一个调度和不均匀的方式和访问它是在许多方面受到限制。
2020-06-24 cs.CV cs.LG eess.IV
Demystifying Variational Diffusion Models
Imperial College London(伦敦帝国理工学院)
本文通过有向图建模和变分推断原理,为扩散模型提供统一易懂的视角,降低入门门槛,帮助理解其与分层潜变量模型的关系。
2025-05-22 cs.CV cs.LG
Variational Bayesian Context-aware Representation for Grocery Recommendation
University of Glasgow(格拉斯哥大学)
杂货推荐是一种重要的推荐用例,其目的是根据用户的购物历史来预测用户将来可能选择购买哪些物品。然而,现有的方法只表示每个用户和项目的单确定性点在一个低维连续空间。此外,这些方法中的大多数都是通过使用简单的基于Skip-gram的公式最大化同现可能性来训练的,这限制了它们嵌入的表达能力和由此产生的推荐性能。在本文中,我们提出了变分贝叶斯上下文感知表示(VBCAR)模型的杂货店推荐,这是一种新的变分贝叶斯模型,学习用户和项目的潜在向量,利用购物篮上下文信息,从过去的用户-项目交互。我们训练我们的VBCAR模型的基础上的贝叶斯Skip-gram框架加上摊销变分推理,使它可以学习更多的表达潜在的表示,集成了非线性和贝叶斯行为。在一个大型的真实世界杂货推荐数据集上进行的实验表明,我们提出的VBCAR模型可以显着优于现有的最先进的杂货推荐方法。
2019-10-29 cs.IR cs.LG
Variational Control for Guidance in Diffusion Models
University of California, Irvine(加州大学尔湾分校);Chan-Zuckerberg Initiative(陈-扎克伯格倡议)
本文提出扩散轨迹匹配(DTM),从变分控制视角统一引导方法,无需额外训练即可在多种逆问题上实现最先进性能。
2025-05-23 cs.AI cs.CV cs.LG
Learning to Re-Draft: A Variational Stackelberg Game for Discrete Diffusion
Spotify
针对离散扩散模型的重写能力,提出变分Stackelberg离散扩散(VSDD)框架,通过领导者-跟随者博弈学习语义感知的破坏过程,在分子、文本和播放列表生成中显著提升有效性、降低困惑度并改善推荐指标。
2026-09-29 cs.AI cs.LG
Task-Aware Variational Adversarial Active Learning
UNIST(蔚山科学技术院)
通常,由于高标记成本限制了深度学习技术的应用领域,标记大量数据是具有挑战性的。主动学习(AL)通过查询未标记池中待注释的信息量最大的样本来解决这个问题。最近已经探索的两个有前途的方向AL是任务无关的方法来选择数据点,远离当前的标记池和任务感知的方法,依赖于任务模型的角度。不幸的是,前者没有利用任务的结构,而后者似乎没有很好地利用整体数据分布。在这里,我们提出了任务感知变分对抗AL(TA-VAAL),修改任务不可知的VAAL,考虑标签和未标记池的数据分布,通过放松任务学习损失预测排名损失预测,并通过使用排名条件生成对抗网络嵌入VAAL的归一化排名损失信息。我们提出的TA-VAAL优于各种基准数据集的平衡/不平衡标签分类以及语义分割和它的任务感知和任务不可知的AL属性与我们的深入分析证实了最先进的。
2020-12-08 cs.LG stat.ML
Noise-Aware Differentially Private Variational Inference
University of Helsinki(赫尔辛基大学)
针对差分隐私导致下游推断不可靠的问题,提出一种基于随机梯度变分推断的噪声感知近似贝叶斯推断方法,可应用于高维和非共轭模型,并改进了后验评估精度。
2026-10-15 cs.CR cs.LG stat.ML
Disentanglement with Hyperspherical Latent Spaces using Diffusion Variational Autoencoders
Eindhoven University of Technology(埃因霍温理工大学);Prosus AI(Prosus人工智能);Prosus
一个数据集的解纠缠表示应该能够恢复产生它的潜在因素。出现的一个问题是,当潜在的生成因素具有一定的几何结构时,使用欧几里得空间的潜变量模型是否可以产生解纠缠表示。例如,从不同角度看到的汽车图像。该角度具有周期性结构,但一维表示将无法捕获该拓扑。我们如何解决这个问题?提交给NeurIPS 2019解纠缠挑战赛第一阶段的参赛作品包括一个扩散变分自编码器($Δ$ VAE),该编码器具有超球形潜在空间,例如,可以恢复周期性真因子。训练的$Δ$ VAE是通过将修改后的版本的证据下限(ELBO)的裁剪后近似的编码能力。
2020-03-19 cs.LG stat.ML
Hierarchical Semi-Implicit Variational Inference with Application to Diffusion Model Acceleration
Peking University(北京大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Megvii Technology Inc.(旷视科技有限公司)
本文提出层次化半隐式变分推断HSIVI,通过多层半隐式分布和逐层辅助分布匹配增强SIVI表达能力,并可用于加速扩散模型采样,在多个数据集上以少量函数评估生成高质量样本。
2023-10-26 cs.LG stat.ME
VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference
Accenture;Swarthmore College(斯沃思莫尔学院);Univ. California, Irvine(加州大学伊文斯顿分校)
本文提出VIPaint方法,通过变分推断优化非高斯马尔可夫近似,有效修复图像中的缺失区域,适用于高质图像生成及逆向问题。
2026-04-30 cs.AI cs.CV cs.LG
Moment Estimate and Variational Approach for Learning Generalized Diffusion with Non-gradient Structures
Department of Applied Mathematics, University of Washington(华盛顿大学应用数学系);Department of Applied Mathematics, Illinois Institute of Technology(伊利诺伊理工学院应用数学系)
本文提出一种结合能量耗散与矩演化的两阶段学习方法,用于识别非梯度广义扩散中的伪势和旋转,并通过数值实验验证其有效性。
2025-08-05 cs.LG math.AP nlin.AO
Geometry-Aware Bayesian Parameter-Efficient Fine-Tuning on the Stiefel Manifold via Stein Variational Gradient Descent
Deakin University(迪肯大学);Aalto University(阿尔托大学);Monash University(莫纳什大学)
本文提出基于Stein变分梯度下降的几何感知贝叶斯低秩适配方法,在Stiefel流形上优化,实现更好的不确定性量化与模型校准,并提升预测准确率。
2026-09-09 cs.LG
Understanding Diffusion Models: A Unified Perspective
Google Research(谷歌研究院)
扩散模型作为生成模型已经显示出令人难以置信的能力;事实上,它们为当前最先进的文本条件图像生成模型(如Imagen和DALL-E 2)提供动力。在这项工作中,我们审查,揭秘,并统一的理解扩散模型在变分和分数为基础的观点。我们首先推导出变分扩散模型(VDM)作为马尔可夫分层变分自编码器的一个特殊情况下,其中三个关键的假设,使易处理的计算和可扩展的优化ELBO。然后,我们证明,优化VDM归结为学习神经网络预测三个潜在的目标之一:从任何任意噪声化的原始源输入,从任何任意噪声化的输入,或在任何任意噪声水平的噪声化输入的得分函数的原始源噪声。然后,我们深入研究学习得分函数的意义,并通过Tweedie公式将扩散模型的变分视角与基于得分的生成建模视角显式连接起来。最后,我们将介绍如何通过指导使用扩散模型学习条件分布。
2022-08-25 cs.CV cs.LG
Transport meets Variational Inference: Controlled Monte Carlo Diffusions
University of Cambridge(剑桥大学);KIT Karlsruhe(卡尔斯鲁厄理工学院);Kings College London(伦敦国王学院)
本文提出受控蒙特卡洛扩散采样器CMCD,通过同时自适应前向和后向动力学并结合路径空间散度,为贝叶斯计算提供了一种优于现有方法的基于分数的退火采样框架。
2025-05-07 cs.LG stat.ML
Unlearning in Diffusion models under Data Constraints: A Variational Inference Approach
Department of ECE, Indian Institute of Science(印度科学研究院电子工程系)
本文提出变分扩散卸载方法,用于在数据受限条件下防止预训练扩散模型生成不良内容,通过优化损失函数中的可塑性诱导器和稳定性正则化器来提高效率。
2026-03-23 cs.LG
Disentangled Variational Autoencoder based Multi-Label Classification with Covariance-Aware Multivariate Probit Model
Cornell University(康奈尔大学)
多标签分类是一个具有挑战性的任务,预测存在和不存在的多个目标,涉及表示学习和标签相关性建模。我们提出了一种新的多标签分类框架,多变量概率变分自编码器(MPVAE),有效地学习潜在的嵌入空间以及标签相关性。MPVAE分别为标签和特征学习和对齐两个概率嵌入空间。MPVAE的解码器从嵌入空间中获取样本,并通过学习共享协方差矩阵,在多变量Probit模型下对输出目标的联合分布进行建模。我们表明,MPVAE优于现有的国家的最先进的方法在各种应用领域,使用公共的真实世界的数据集。MPVAE进一步示出在噪声设置下保持稳健。最后,我们通过一个鸟类观测数据集的案例研究证明了学习协方差的可解释性。
2020-07-12 cs.LG stat.ML
Sparse Inducing Points in Deep Gaussian Processes: Enhancing Modeling with Denoising Diffusion Variational Inference
South China University of Technology(华南理工大学);Columbia University(哥伦比亚大学)
针对深度高斯过程中诱导点后验推断易产生偏差的问题,提出基于去噪扩散随机微分方程的去噪扩散变分推断(DDVI)方法,利用神经网络近似分数函数并推导出新的变分下界,有效提升了后验推断的准确性。
2024-07-24 cs.AI cs.LG stat.ML
Variational Distillation of Diffusion Policies into Mixture of Experts
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
本文提出变分扩散蒸馏(VDD),首次通过可分解变分上界将预训练扩散策略蒸馏为专家混合模型,在九个复杂行为学习任务上取得优于现有蒸馏和常规MoE训练方法的效果。
2024-10-18 cs.AI cs.LG cs.RO
Variational Optimal Control for Diffusion Guidance
Westlake University(西湖大学);Shandong University(山东大学);Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学)
该研究提出变分控制框架VOG与DVOC,通过几何原理关联采样引导与模型自适应,在ImageNet等任务中显著降低FID并提升评估分数。
2026-10-28 cs.LG
A$^{2}$V-SLP: Alignment-Aware Variational Modeling for Disentangled Sign Language Production
Hacettepe University Computer Engineering Department Ankara, Türkiye(哈切特佩大学计算机工程系安卡拉)
A$^{2}$V-SLP通过变分建模实现手势生成的解耦,结合分布式潜在建模和词素注意力机制,提升回译性能和动作真实感。
2026-02-12 cs.CL cs.LG
Variational Diffusion Channel Decoder
The School of Integrated Circuits(集成电路学院);Sun Yat-sen University(中山大学);Shenzhen, China(深圳,中国)
本文提出一种高效的变分扩散模型基于通道解码器,结合领域特定的信念传播过程和扩散模型的强学习能力,实现了低成本和高纠错性能。
2026-05-17 cs.IT cs.LG math.IT
Source Localization of Graph Diffusion via Variational Autoencoders for Graph Inverse Problems
Emory University(埃默里大学);Tianjin University(天津大学)
图扩散问题,如谣言的传播,计算机病毒,或智能电网故障是无处不在的和社会。因此,它通常是至关重要的,以确定扩散源,根据目前的图形扩散观测。尽管其在实践中的巨大的必要性和意义,源定位,作为图扩散的逆问题,是极具挑战性的,因为它是不适定的:不同的源可能导致相同的图扩散模式。与大多数传统的源定位方法不同,本文侧重于概率的方式来考虑不同的候选源的不确定性。这些努力需要克服的挑战包括:1)图扩散源定位中的不确定性难以量化; 2)图扩散源的复杂模式难以概率地表征; 3)任何潜在扩散模式下的泛化难以强加。为了解决上述问题,本文提出了一个通用的框架:源定位变分自编码器(SL-VAE)的扩散源定位在任意扩散模式。特别地,我们提出了一种概率模型,该模型利用前向扩散估计模型以及深度生成模型来近似扩散源分布,以量化不确定性。SL-VAE进一步利用源-观测对的先验知识,通过学习的生成先验来表征扩散源的复杂模式。最后,一个统一的目标,集成的前向扩散估计模型推导出强制模型推广下任意扩散模式。在7个真实数据集上进行了大量的实验,以证明SL-VAE在重建扩散源方面的优越性,其AUC得分平均优于其他方法20%。
2022-06-24 cs.IT cs.LG math.IT
Variational Trajectory Optimization of Anisotropic Diffusion Schedules
Department of Electrical and Computer Engineering(电气与计算机工程系);Duke University(杜克大学)
本文提出了一种基于变分轨迹优化的非各向同性扩散模型,通过矩阵值路径优化噪声计划,提升扩散模型的性能。
2026-11-17 cs.CV cs.LG
Variational Diffusion Auto-encoder: Latent Space Extraction from Pre-trained Diffusion Models
University of Cambridge(剑桥大学)
本文提出变分扩散自编码器,通过优化编码器最大化边际对数似然从预训练扩散模型提取潜在空间,并解析推导解码器,摒弃高斯假设与独立训练,显著提升VAEs性能。
2023-05-18 cs.CV cs.LG stat.ML
Fast and Stable Diffusion Planning through Variational Adaptive Weighting
本文提出一种变分最优的不确定性感知加权函数及其闭式多项式逼近方法,用于扩散规划中的自适应损失加权,在Maze2D和Kitchen基准上以少10倍的训练步骤达到竞争性能。
2025-06-20 cs.AI cs.LG
A variational approach to path estimation and parameter inference of hidden diffusion processes
ETH Zurich(苏黎世联邦理工学院);Louisiana State University(路易斯安那州立大学);TU Darmstadt(达姆施塔特工业大学)
本文提出一种变分方法,用于估计隐扩散过程的路径并推断参数,通过高效推理方案提升对随机微分方程参数的估计精度。
2016-10-25 cs.LG cs.SY eess.SY
Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Statistical Science, Peking University(北京大学统计科学中心);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Foundation Model Dept(华为基金会模型部门);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出VADD框架,通过潜在变量建模增强离散扩散,提升样本质量,尤其在少量去噪步骤时表现优异。
2026-04-14 cs.CV cs.LG stat.ML
Variational Diffusion Autoencoders with Random Walk Sampling
Yale University(耶鲁大学);Duke University(杜克大学);University of California San Diego(加州大学圣迭戈分校)
变分自编码器(VAE)和生成对抗网络(GANs)与流形学习有着直观的联系:在训练中,解码器/生成器被优化以近似数据分布和采样空间之间的同胚。这是一个努力定义数据流形的构造。然而,VAE和GANs的一个主要障碍是选择一个匹配数据拓扑的合适先验。众所周知的后果,挑选不良的先验是后验和模式坍塌。据我们所知,没有现有的方法回避这个用户的选择。相反,$\textit{diffusion maps}$自动推断数据拓扑,并与流形学习有严格的联系,但不容易扩展或提供逆同胚(即解码器/生成器)。我们提出了一种方法,将这些方法组合成一个生成模型,继承了$\textit{diffusion maps}$的渐近保证,同时保留了深度模型的可扩展性。我们证明了我们所提出的方法的尺寸依赖的近似理论结果。最后,我们证明了我们的方法与各种真实和合成数据集的有效性。
2020-08-27 cs.LG stat.ML
A Variational Perspective on Solving Inverse Problems with Diffusion Models
NVIDIA Inc.(英伟达公司)
本文提出求解扩散模型逆问题的变分框架,推导出RED-Diff正则化与基于SNR的时间步加权机制,将采样转化为随机优化,并在图像修复和超分辨率上优于现有扩散采样方法。
2023-09-29 cs.CV cs.LG cs.NA
Geometry-Aware Block Selection for Sparse Variational Gaussian Processes
Nanyang Technological University(南洋理工大学)
本文提出几何感知块选择算法,结合双重随机优化框架,改进稀疏变分高斯过程,在固定诱导点预算下降低测试RMSE和NLL,还探索用替代条件后验结构优化超参数与诱导点。
2026-10-21 cs.LG stat.ML
Modeling Event Background for If-Then Commonsense Reasoning Using Context-aware Variational Autoencoder
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
理解事件和以事件为中心的常识推理是自然语言处理的关键。给定一个观察到的事件,人类推断其意图和效果是微不足道的,而这种类型的If-Then推理对于NLP系统仍然具有挑战性。为了促进这一点,If-Then常识推理数据集原子提出,连同基于RNN的Seq 2Seq模型进行这样的推理。然而,仍然需要解决两个基本问题:第一,事件的意图可能是多个的,而基于RNN的Seq 2Seq模型的生成总是语义接近的;第二,事件背景的外部知识可能是理解事件和进行If-Then推理所必需的。为了解决这些问题,我们提出了一种新的上下文感知的变分自编码器有效地学习事件的背景信息,以指导If-Then推理。实验结果表明,我们的方法提高了准确性和多样性的推断相比,国家的最先进的基线方法。
2019-12-01 cs.AI cs.CL cs.LG
Deep Variational Koopman Models: Inferring Koopman Observations for Uncertainty-Aware Dynamics Modeling and Control
Stanford University(斯坦福大学);Texas A&M University(德州农工大学)
Koopman理论认为,一个非线性动力系统可以映射到一个线性系统,其中Koopman算子在时间上向前推进状态的观测。然而,将状态映射到观测的可观测函数通常是未知的。我们介绍了深度变分库普曼(DVK)模型,一种用于推断可以在时间上线性传播的观测值的分布的方法。通过从推断的分布中采样,我们获得了动态模型上的分布,这反过来又提供了随着建模系统的时间推移而可能出现的结果的分布。实验表明,DVK模型对各种动力系统的长期预测是有效的。此外,我们描述了如何将学习的模型纳入控制框架,并证明了考虑动态模型分布中存在的不确定性可以实现更有效的控制。
2019-06-01 cs.LG stat.ML
DiffEnc: Variational Diffusion with a Learned Encoder
Copenhagen University Hospital(哥本哈根大学医院)
DiffEnc 通过引入数据与深度相关的均值函数及可调噪声方差比,改进扩散模型,在 CIFAR-10 上显著提升似然,并提供了有限与无限深度层级下的理论分析。
2024-02-08 cs.CV cs.LG stat.ML
Variational Optimality of Föllmer Processes in Generative Diffusions
Department of Mathematics, University of California, Los Angeles, CA, USA(加州大学洛杉矶分校数学系);Machine Learning Lab, Capital Fund Management, Paris, France(Capital Fund Management机器学习实验室);Courant Institute, New York University, NY, USA(纽约大学Courant研究所)
本文研究了利用随机插值框架构造和分析生成扩散的过程,通过条件期望估计漂移项,证明了在变分最优条件下Föllmer过程在路径空间中最小化相对熵,并提供了数据驱动的模拟方法。
2026-05-20 cs.IT cs.LG math.IT
Discrete Diffusion Models via Evolving Variational Autoregressive Networks
Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China(电子科技大学基础与前沿研究院);School of Physics, University of Electronic Science and Technology of China(电子科技大学物理学院);Key Laboratory of Quantum Physics and Photonic Quantum Information, Ministry of Education, University of Electronic Science and Technology of China(电子科技大学教育部量子物理与光子量子信息重点实验室);Non-classical Information Science Basic Discipline Research Center of Sichuan Province, University of Electronic Science and Technology of China(电子科技大学四川省非经典信息科学基础学科研究中心)
本文提出一种基于变分自回归网络的离散扩散模型,通过显式马尔可夫跳跃算子实现归一化分布,应用于高维伊辛模型,准确计算热力学量,并与蒙特卡洛采样结合提升低温采样效率。
2026-09-24 cond-mat.dis-nn cs.LG stat.ML
Uncertainty aware audiovisual activity recognition using deep Bayesian variational inference
Intel Labs(英特尔实验室)
深度神经网络(DNN)为多种应用提供了最先进的结果,但是将DNN用于多模态视听应用的方法不考虑与各个模态相关联的预测不确定性。贝叶斯深度学习方法提供原则性的置信度并量化预测的不确定性。我们在这项工作中的贡献是提出了一个不确定性感知的多模态贝叶斯融合框架的活动识别。我们展示了一种新的方法,该方法结合了确定性和变化层,以将贝叶斯DNN扩展到更深的架构。我们的实验使用的分布内和分布外的样本,从一个子集的时刻在时间(MiT)数据集显示了一个更可靠的信心措施相比,非贝叶斯基线和蒙特卡罗脱落(MC脱落)近似贝叶斯推断。我们还证明了从所提出的框架中获得的不确定性估计可以识别UCF101和MiT数据集上的分布外数据。在多模态设置中,与非贝叶斯基线相比,所提出的框架在MiT数据集的子集上将精确召回AUC提高了10.2%。
2019-09-20 cs.LG cs.NE stat.ML