Controlled Generation with Equivariant Variational Flow Matching
Bosch-Delta Lab(博世-德尔塔实验室);AMLab(AM实验室)
本研究在变分流匹配框架下推导可控生成目标,提出等变VFM用于分子生成,在非可控和可控分子生成任务上均取得优异性能,强化了流生成建模与贝叶斯推断的联系。
2025-10-03 cs.AI cs.LG
Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference
School of Science & Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院);Future Network of Intelligence Institute(未来智能网络研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院);National University of Singapore(新加坡国立大学)
本文将集成卡尔曼滤波融入高斯过程状态空间模型的非平均场变分推断,实现闭式ELBO与在线学习,在真实和合成数据上展现优越性能。
2024-07-22 cs.LG eess.SP stat.ML
Rényi Divergence Variational Inference
University of Cambridge(剑桥大学)
引入变分Rényi界(VR),将传统的变分推断推广到Rényi α-发散.这个新的变分方法的家庭统一了一些现有的方法,并使一个平滑的插值从证据下限的日志(边际)的可能性,控制的值的alpha参数化的分歧。采用重新参数化技巧、蒙特卡罗逼近和随机优化方法来获得易于处理且统一的优化框架。我们进一步考虑负α值,并提出了一种新的变分推断方法作为一个新的特殊情况下,在建议的框架。贝叶斯神经网络和变分自动编码器上的实验证明了VR界的广泛适用性。
2016-10-28 cs.LG stat.ML
Moment-Based Variational Inference for Stochastic Differential Equations
Technische Universität Darmstadt(达姆施塔特工业大学)
现有的扩散过程的确定性变分推理方法使用简单的建议和目标后验的边缘密度。我们将变分过程构造为先验过程的受控版本,并通过一组矩函数来逼近后验过程。结合矩封闭,平滑问题减少到一个确定性的最优控制问题。利用路径的Fisher信息,我们提出了一个优化过程,对应于一个自然的梯度下降的变参数。我们的方法允许更丰富的变分近似,扩展到状态相关的扩散项。经典高斯过程近似作为一种特殊情况恢复。
2021-03-01 cs.LG stat.ML
Unsupervised Multiple Domain Translation through Controlled Disentanglement in Variational Autoencoder
Le Mans University(勒芒大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种基于改进变分自编码器的无监督多域翻译方法,通过受控解耦两个潜变量使一个仅编码域信息、另一个编码其余变异因素,在多个视觉数据集上验证了其优于GAN类方法的性能,并证明了解耦的有效性。
2024-01-18 cs.CV cs.LG
Score-Based Diffusion meets Annealed Importance Sampling
DeepMind(深度思维)
退火重要性抽样(Annealed Importance Sampling,AIS)在提出二十多年后,仍然是最有效的边缘似然估计方法之一。它依赖于一系列的分布之间的一个听话的初始分布和目标分布的兴趣,我们模拟从近似使用非齐次马尔可夫链。为了获得边缘似然的重要性抽样估计,AIS引入扩展的目标分布来重新加权马尔可夫链建议。虽然已经投入了大量的努力来改善AIS所使用的建议分布,但一个未被充分认识的问题是AIS使用了方便但次优的扩展目标分布。在这里,我们利用最近的进展,基于分数的生成建模(SGM)近似的最佳扩展目标分布最小化的方差的边缘似然估计AIS建议对应的离散化的朗之万和汉密尔顿动力学。我们证明了这些新的,可微的,AIS程序的一些合成基准分布和变分自动编码器。
2022-10-24 cs.LG stat.ML
Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes
针对深度高斯过程精确推断困难的问题,提出神经算子变分推断(NOVI),通过神经生成器在L2空间最小化正则化Stein差异,实现稳健的误差控制,在CIFAR10上达93.56%准确率。
2025-08-12 cs.LG stat.ML
Certifiably Robust Variational Autoencoders
University of Oxford(牛津大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
我们介绍了一种训练变分自编码器(VAE)的方法,这种方法对对抗性攻击具有可证明的鲁棒性。具体来说,我们首先推导出可操作的边界上的最小尺寸的输入扰动需要改变一个VAE的重建超过一个允许的量,这些边界取决于某些关键参数,如编码器和解码器的Lipschitz常数。然后,我们将展示如何控制这些参数,从而提供一种机制,以确保\textit{a priori}的VAE将达到所需的鲁棒性水平。此外,我们将其扩展到一个完整的实用方法来训练这样的VAE,以确保我们的标准得到满足。至关重要的是,我们的方法允许一个指定所需的鲁棒性\emph{upfront}水平,然后训练一个VAE,保证实现这种鲁棒性。我们进一步证明,这些Lipschitz约束VAE是更强大的攻击比标准VAE在实践中。
2022-04-23 cs.LG stat.ML
Preconditioned training of normalizing flows for variational inference in inverse problems
Utrecht University(乌得勒支大学);Georgia Institute of Technology(佐治亚理工学院);Microsoft(微软)
从逆问题的后验分布中获取样本是具有挑战性的,特别是当未知数涉及强非均匀地球时。为了应对这些挑战,我们提出了一个预处理方案,涉及一个条件归一化流(NF)能够直接从低保真度后验分布采样。该条件NF用于加速高保真度目标的训练,包括最小化预测的和所需的高保真度后验密度之间的库尔贝克-莱布勒散度,用于手头的间接测量。为了最大限度地减少与前向运算符相关的成本,我们使用预先训练的低保真度NF的权重初始化高保真NF,该NF预先在可用的模型和数据对上进行训练。我们的数值实验,包括一个2D玩具和一个地震压缩传感的例子,表明由于预处理相当大的速度相比,从头开始训练NF是可以实现的。
2021-01-11 cs.LG physics.geo-ph stat.ML
Differentiable Systematic Resampling for Variational Sequential Monte Carlo
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对粒子滤波器重采样步骤离散阻碍变分序列蒙特卡洛梯度学习的问题,提出可微系统重采样DSR,其计算开销低且性能相当或更优,可用于滤波与动力学学习。
2026-10-30 cs.LG eess.SP stat.ML
Syntax-Infused Variational Autoencoder for Text Generation
Bloomberg(彭博);Duke University(杜克大学);ASAPP Inc.(ASAPP公司)
我们提出了一个注入语法的变分自动编码器(SIVAE),它将句子与它们的语法树相结合,以提高生成的句子的语法。与现有的基于VAE的文本生成模型不同,SIVAE包含两个独立的潜在空间,用于句子和句法树。通过优化一个包含两个编码器和两个解码器的联合分布,相应地重新设计了证据下限目标。SIVAE与长短期记忆体系结构一起工作,同时生成句子和语法树。两个版本的SIVAE提出:一个通过条件先验网络捕获的潜在变量之间的依赖关系,和其他处理的潜在变量独立,这样可以进行句法控制的句子生成。实验结果表明,SIVAE在重建和有针对性的句法评价上都具有生成优势。最后,我们表明,所提出的模型可以用于无监督释义给定不同的句法树模板。
2019-06-05 cs.CL cs.LG stat.ML
Generation Meets Recommendation: Proposing Novel Items for Groups of Users
National University of Singapore(新加坡国立大学)
考虑一个电影制片厂,它的目标是制作一套夏季上映的新电影:它应该制作什么类型的电影?电影会吸引谁?它应该拍多少部电影?各种组织都遇到了类似的问题,例如,移动电话制造商和在线杂志,他们必须创造新的(不存在的)项目,以满足不同偏好的用户群体。在本文中,我们提出了一个联合问题的形式化这些相互关联的问题,并提出生成方法,同时解决这些问题。具体来说,我们利用通过训练深度生成模型-变分自编码器(VAE)-获得的潜在空间,通过一个损失函数,该函数包含评级性能和项目重建项。然后,我们应用一个贪婪的搜索算法,利用这个学习的潜在空间,共同获得K个合理的新项目,和用户组,会发现项目的吸引力。在合成数据集上对我们的方法进行的评估表明,我们的方法能够生成类似于高度期望的未观察到的项目的新项目。作为对真实世界数据的案例研究,我们将我们的方法应用于MART抽象艺术和Movielens Tag Genome数据集,这产生了有希望的结果:小而多样的新项目集。
2018-08-02 cs.IR cs.LG stat.ML
Sparse Polynomial Chaos expansions using Variational Relevance Vector Machines
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Technische Universität Munchen(慕尼黑工业大学)
多项式混沌建模的非侵入式方法的挑战在于有限数量的模型模拟下的计算效率和精度。这些挑战可以通过仅保留最重要的基项来在级数表示中实施稀疏性来解决。在这项工作中,我们提出了一种新的稀疏贝叶斯学习技术获得稀疏多项式混沌扩展,这是基于相关向量机模型,并使用变分推断训练。该方法在高维数据驱动的环境中使用相对较少的数据点显示出巨大的潜力,并实现了与压缩感知等其他方法相当的用户控制稀疏水平。所提出的方法说明了两个数值例子,一个合成的响应函数,探索验证的目的和随机杨氏模量和随机加载,这是由随机有限元与38个输入随机变量建模的低碳钢板。
2019-12-23 cs.LG stat.CO stat.ML
Continual Learning of Predictive Models in Video Sequences via Variational Autoencoders
University of Genova(热那亚大学)
本文提出了一种用于执行预测模型的持续学习的方法,该预测模型促进了对视频序列中的未来帧的推断。对于第一给定经验,利用初始变分自编码器以及一组完全连接的神经网络来分别学习视频帧的外观及其在潜在空间级的动态。通过采用自适应马尔可夫跳跃粒子滤波器,所提出的方法识别新的情况,并将它们集成为预测模型,避免灾难性遗忘以前学习的任务。为了评估所提出的方法,本文使用的视频序列,从车辆在受控环境中执行不同的任务。
2020-06-02 cs.CV cs.LG
Purrception: Variational Flow Matching for Vector-Quantized Image Generation
Purrception结合连续方法的几何意识与离散监督的分类监督,通过学习代码本索引的类别后验和连续嵌入空间中的速度场,实现对潜在代码的不确定性量化和温度控制生成。
2026-03-14 cs.AI cs.CV cs.LG
Convergence of projected stochastic natural gradient variational inference for various step size and sample or batch size schedules
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、Inria、法国国家科学研究中心、格勒诺布尔理工学院、LJK实验室)
本文研究了变分分布属于指数族时投影随机自然梯度变分推断的收敛性,证明了在不同步长和样本/批量大小调度下,算法收敛到最优解的速率。
2026-04-01 math.OC stat.ME stat.ML
Corn Yield Prediction based on Remotely Sensed Variables Using Variational Autoencoder and Multiple Instance Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在美国,玉米是产量最高的作物,一直是美国人饮食的重要组成部分。为了满足供应链管理和区域粮食安全的需求,准确及时的大规模玉米产量预测在精准农业中越来越受到重视。近年来,遥感技术和机器学习方法在作物产量预测中得到了广泛的应用。目前,县级产量预测模型大多采用县级均值变量进行预测,忽略了大量的细节信息。此外,作物面积和卫星传感器之间的空间分辨率不一致导致混合像素,这可能会降低预测精度。只有少数工作解决了大规模作物产量预测中的混合像素问题。为了解决信息丢失和混合像素的问题,我们开发了一个基于变分自编码器(VAE)的多实例回归(MIR)模型用于大规模玉米产量预测。我们使用所有未标记的数据来训练一个VAE和训练良好的VAE异常检测。作为一种预处理方法,异常检测可以帮助MIR找到比传统MIR方法更好的每袋的代表性,从而更好地执行大规模的玉米产量预测。我们的实验表明,基于变分自编码器的多实例回归(VAEIIR)在大规模玉米产量预测中优于所有基线方法。虽然需要一个合适的Meta参数,VAEMIR显示出良好的潜力,在大规模的玉米产量预测的特征学习和提取。
2022-11-23 cs.CV cs.LG
Variational Inference Aided Estimation of Time Varying Channels
改进时变信道的估计的单向式方法之一是结合先前观测的知识。在这种背景下,动态VAE(DVAE)构建了一个很有前途的深度学习(DL)框架,非常适合学习时间序列数据的分布。我们引入了一个新的DVAE架构,称为k-MemoryMarkovVAE(k-MMVAE),其稀疏性可以通过一个额外的内存参数控制。根据[1]中的方法,我们导出了一个k-MMVAE辅助信道估计器,该估计器考虑了连续观测值的时间相关性。结果在模拟信道上进行了评估,结果表明,k-MMVAE辅助信道估计器明显优于其他机器学习(ML)辅助估计器,这些估计器要么是无记忆的,要么是天真地扩展到时变信道,没有重大的适应。
2022-11-03 cs.IT eess.SP math.IT
Variational Masked Diffusion Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出变分掩码扩散(VMD),通过引入潜变量显式建模令牌间依赖,提升离散生成质量与全局一致性,在合成数据、数独和文本上验证有效。
2025-10-27 cs.AI cs.CL cs.LG
Fast Inference for Intractable Likelihood Problems using Variational Bayes
变分贝叶斯(VB)是一种流行的贝叶斯推断估计方法。然而,大多数现有的VB算法仅限于可能性易于处理的情况,这排除了它们在许多重要情况下的使用。Tran等人(2017)将VB的应用范围扩展到可能性难以处理但可以无偏估计的情况,并将方法命名为变分贝叶斯与难以处理的可能性(VBIL)。本文介绍了VBIL的一个版本,名为变分贝叶斯与难处理的对数似然(VBILL),这是有用的情况下,大数据和大面板数据模型,其中的对数似然梯度的无偏估计量是可用的。我们证明,这样的估计可以很容易地在许多大数据应用程序中获得。所提出的方法是准确的,在这个意义上说,除了一个额外的蒙特卡罗错误,可以控制,它是能够产生估计,如果真正的可能性,或全数据的可能性,是使用。特别是,我们开发了一种计算效率高的方法,基于数据子采样和MapReduce编程技术,用于分析无法装入单个台式PC内存的海量数据集。我们使用了几个模拟数据集和一个大的真实数据集的基础上的到达时间状态的U。S.航空公司
2017-05-18 stat.ME
Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant
École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本研究提出一种学习深度神经网络可训练激活函数的变分框架,在控制Lipschitz常数上界的同时提升网络容量,通过证明线性样条解的存在性将问题简化为带l1惩罚的有限维优化,实验验证其优于ReLU类激活函数。
2020-08-07 cs.LG stat.ML
Neural Optimal Transport Meets Multivariate Conformal Prediction
Department of ML, MBZUAI(机器学习系,MBZUAI);MBZUAI, UAE(MBZUAI,阿联酋);CMAP, École polytechnique(CMAP,巴黎高等理工学院);Ecole Polytechnique, Palaiseau, France(巴黎高等理工学院,Palaiseau,法国)
本文提出融合神经最优传输与摊销优化的CVQR框架,利用多元秩构建有限样本有效的无分布共形预测区域,并在基准上取得更优覆盖—效率权衡。
2025-09-29 cs.LG stat.ML
Scalable Semi-Modular Inference with Variational Meta-Posteriors
University of Oxford(牛津大学)
截后验和相关的半模块化推理是模块化贝叶斯证据组合的广义贝叶斯方法。分析被分解在联合后验分布的模块化子模型上。多模块模型中的模型错误指定很难单独通过模型细化来修复,而Cut posterior和SMI提供了一种解决方法。从错误指定的模块进入分析的信息由与学习率相关的影响参数$η$控制。本文包含两个实质性的新方法。首先,我们给出了变分方法来近似切割和SMI后验,这是适应证据组合的推理目标。我们使用Normalising Flow对一系列变分后验进行参数化,以实现精确近似和端到端训练。其次,我们证明了使用一个新的变分元后验分析模型的多个切割是可行的。这近似一个家庭的SMI后验指数$η$使用一组变分参数。
2022-04-01 cs.LG stat.CO stat.ML
Variational Bayesian Inference for Audio-Visual Tracking of Multiple Speakers
Inria Grenoble Rhône-Alpes(法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心);GIPSA Lab(GIPSA实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在本文中,我们解决的问题,通过视觉和听觉信息的融合跟踪多个扬声器。我们建议利用这两种方式的互补性,以准确地估计跟踪的人的平滑轨迹,处理部分或全部不存在的方式之一,在短时间内,并估计声学状态-无论是发言或沉默-每个跟踪的人沿时间。我们建议将手头的问题转换为生成性视听融合(或关联)模型,该模型被制定为潜在变量的时间图形模型。这可以被看作是最大化一组连续和离散潜变量的后验联合分布的问题,给定过去和当前的观察,这是棘手的。我们提出了一个变分推理模型,它相当于近似的联合分布的因子分解分布。该解决方案的形式是一个封闭形式的期望最大化过程。我们详细描述的推理算法,我们评估其性能,我们比较它与几个基线方法。这些实验表明,所提出的视听跟踪器在涉及时变人数的非正式会议中表现良好。
2019-10-29 cs.CV cs.MM stat.ML