Variational Mixtures and Multi-Marginal Flow Matching: Advancing Statistical Inference with Biological Applications
KTH Royal Institute of Technology(KTH皇家理工学院)
本论文针对复杂生物系统中的多模态分布,提出从变分推断到多边缘流匹配的系列方法,并推翻混合在变分推断中性能优势的长期误解,应用于三维空间转录组学。
2026-09-30 cs.LG
Variational Learning for the Inverted Beta-Liouville Mixture Model and Its Application to Text Categorization
Hezhou University(贺州学院);North China University of Technology(北方工业大学);DigApis Information Security Technology Co., Ltd.(江苏迪格艾普斯信息安全技术有限公司);Jiangsu University(江苏大学);Beijing University of Posts and Telecommunications(北京邮电大学)
有限逆Beta-Liouville混合模型(IBLMM)最近由于其正数据建模能力而获得了一些关注。在传统的变分推理(VI)框架下,分析上容易处理的解决方案的变分后验分布的优化不能得到,因为变分目标函数涉及评价的难处理的时刻。在最近提出的扩展变分推理框架下,提出了一种新的变分目标函数来代替原变分目标函数,以避免难以处理的矩计算,从而使IBLMM的解析解能够以一种优雅的方式导出.实验表明,所提出的方法具有良好的性能与合成数据和现实世界的应用程序,即文本分类。
2021-12-29 cs.CL cs.LG
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies(华为技术有限公司);Université Paris-Est(巴黎东大学)
在本文中,我们开发了一个无监督的生成聚类框架,结合了变分信息瓶颈和高斯混合模型。具体来说,在我们的方法中,我们使用变分信息瓶颈方法,并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界,它推广了证据下界(ELBO),并给出了一个变分推理型算法来计算它,在该算法中,编码器的映射使用神经网络进行参数化,该界用Monte Carlo抽样近似,并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Improved Variational Bayesian Phylogenetic Inference using Mixtures
KTH Royal Institute of Technology(KTH皇家理工学院);Science for Life Laboratory(生命科学实验室)
针对现有VBPI框架难以处理树拓扑后验多模态的问题,提出结合BBVI领域混合学习进展的VBPI-Mixtures算法,可建模VBPI无法捕捉的树拓扑分布,在多个真实系统发育数据集密度估计任务上达SOTA。
2023-10-02 cs.LG stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能,超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘(潜在树结构)规模的混合先验。一系列去噪和修复问题的实验结果表明,大大提高了性能相比,MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Efficient Mixture Learning in Black-Box Variational Inference
KTH Royal Institute of Technology(瑞典皇家理工学院);Science for Life Laboratory(生命科学实验室);University of Edinburgh(爱丁堡大学)
针对 BBVI 混合分布参数与计算开销问题,本文提出 MISVAE 和两个新的 ELBO 估计器,实现数百成分扩展,并在 MNIST 及贝叶斯系统发育推断中取得更优速度与性能。
2024-06-11 cs.LG stat.ML
A Mixture Autoregressive Image Generative Model on Quadtree Regions for Gaussian Noise Removal via Variational Bayes and Gradient Methods
Gunma University(群马大学);Waseda University(早稻田大学)
本文提出一种结合四叉树区域划分模型与混合自回归模型的图像生成模型,通过变分下界最大化实现图像去噪,采用变分贝叶斯与梯度方法交替优化,推导出解析的梯度更新规则,验证了去噪效果及未来改进方向。
2026-08-25 cs.CV cs.LG
Variational Inference with Mixtures of Isotropic Gaussians
CREST, ENSAE Institut Polytechnique de Paris(CREST,ENSAE巴黎理工学院);INRIA, Ecole Normale Supérieure DGA, French Procurement Agency(INRIA,高等师范学校,法国采购局)
针对变分推断任务,本文提出基于权重均匀的各向同性高斯混合的变分框架与高效算法,兼顾多模态后验近似精度与计算、内存效率,并通过数值实验验证了算法性能。
2025-11-17 cs.LG stat.ML
Open-Set Recognition with Gaussian Mixture Variational Autoencoders
Northwestern University(西北大学)
在推理中,开集分类是将样本分类到训练中的已知类或将其拒绝为未知类。现有的深度开集分类器训练显式闭集分类器,在某些情况下,分离地利用重建,我们发现稀释了潜在的表示的能力,以区分未知的类。相比之下,我们训练我们的模型来合作学习重建,并在潜在空间中执行基于类的聚类。有了这个,我们的高斯混合变分自编码器(GMVAE)实现了更准确和更强大的开集分类结果,平均F1提高了29.5%,通过大量的实验分析结果的帮助。
2020-06-03 cs.CV cs.LG cs.NE
Adaptive Heterogeneous Mixtures of Normalising Flows for Robust Variational Inference
School of Computer Science and Informatics(计算机科学与信息学学院)
针对单流变分推断在不同分布上表现不稳定的问题,提出由多种互补流组成的两阶段训练自适应混合模型AMF-VI,在六类标准后验上实现更优的似然与传输度量,以低开销提升了变分推断的鲁棒性。
2025-10-02 cs.LG stat.ML
Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));University of Helsinki(赫尔辛基大学)
变分近似越来越多地基于对通过抽样估计的期望的基于梯度的优化。处理离散潜变量是具有挑战性的,因为采样过程是不可微的。连续松弛(例如分类分布的Gumbel-Softmax)支持基于梯度的优化,但不为离散观测定义有效的概率质量。在实践中,选择松弛量是困难的,并且需要优化与期望目标不一致的目标,这会导致问题,特别是对于具有强有意义先验的模型。我们提供了一个替代的可微重新参数化的分类分布组成的离散归一化流的混合物。它定义了一个适当的离散分布,允许直接优化证据下限,并且对超参数控制松弛不太敏感。
2021-02-08 cs.LG stat.ML
Mixture weights optimisation for Alpha-Divergence Variational Inference
LTCI, Télécom Paris(巴黎电信学院LTCI实验室);Institut Polytechnique de Paris(巴黎理工学院);SAMOVAR, Télécom SudParis(南巴黎电信学院SAMOVAR实验室)
本文主要研究变分推理的$α$ -散度最小化方法。更确切地说,我们感兴趣的算法优化的混合权重的任何给定的混合模型,没有任何信息的基础分布的混合成分参数。功率下降,定义为所有$α\neq 1$,是这样一个算法,我们建立在我们的工作充分证明了其收敛到最佳的混合权重时,$α<1$。由于$α$ -发散恢复了广泛使用的前向Kullback-Leibler时,$α\to 1$,我们然后扩展功率下降的情况下,$α= 1$,我们得到了一个熵镜下降。这导致我们调查功率下降和熵镜下降之间的联系:一阶近似允许我们引入Renyi下降,一种新的算法,我们证明了$O(1/N)$收敛速度。最后,我们数值比较的行为的无偏功率下降和有偏Renyi下降,我们讨论了一个算法的潜在优势。
2021-06-09 cs.LG math.ST stat.TH
A Variational Infinite Mixture for Probabilistic Inverse Dynamics Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
控制和机器人应用中的概率回归技术必须满足数据驱动的适应性、计算效率、高维可扩展性以及处理数据中不同模态的能力等不同标准。经典回归通常只满足这些性质的一个子集。在这项工作中,我们扩展了贝叶斯非参数混合物的开创性工作,并推导出一个有效的变分贝叶斯推理技术的概率局部多项式模型的无限混合物,以及校准的确定性量化。我们强调了该模型在结合数据驱动的复杂性自适应,快速预测以及处理不连续函数和异方差噪声的能力方面的能力。我们在一系列大型真实逆动力学数据集上对该技术进行了基准测试,结果表明,无限混合公式与经典的局部学习方法相比具有竞争力,并且通过基于数据调整组件的数量来正则化模型复杂性,而不依赖于算法。此外,为了展示该方法的实用性,我们使用学习模型在线逆动力学控制的Barrett-WAM机械手,显着提高轨迹跟踪性能。
2021-03-30 cs.LG cs.RO
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Mixture of Dynamical Variational Autoencoders for Multi-Source Trajectory Modeling and Separation
Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔国立理工学院)
提出MixDVAE潜变量生成模型,结合预训练DVAE实例、离散源分配变量与变分EM算法,实现多源轨迹估计,并在多目标跟踪和单通道音频分离上优于基线。
2023-12-07 cs.LG
Variational embedding of protein folding simulations using gaussian mixture variational autoencoders
Department of Chemical and Biomolecular Engineering, University of Maryland(马里兰大学化学与生物分子工程系)
利用分子动力学模拟对生物分子进行构象采样通常会产生大量的高维数据,这使得难以使用常规分析技术进行解释。因此,需要采用简化方法来提取有用的相关信息。在这里,我们设计了一个机器学习方法,高斯混合变分自动编码器(GMVAE),可以同时进行降维和聚类的生物分子构象在无监督的方式。我们表明,GMVAE可以学习的自由能景观的蛋白质折叠高度分离的集群,对应于亚稳态折叠过程中的代表性降低。由于GMVAE使用混合高斯作为先验,它可以直接承认蛋白质折叠自由能景观的多流域性质。为了使模型端到端可微,我们使用Gumbel-softmax分布。我们在三个长时间尺度的蛋白质折叠轨迹上测试了该模型,并表明GMVAE嵌入类似于折叠漏斗,折叠状态沿着漏斗向下,展开状态在漏斗路径的外部。此外,我们表明,GMVAE的潜空间可用于动力学分析,并且建立在这种嵌入上的马尔可夫状态模型产生的折叠和展开时间尺度与其他严格的动力学嵌入非常一致例如时间独立分量分析(TICA)。
2021-08-27 cs.LG physics.comp-ph q-bio.BM
Variational Mixture of Normalizing Flows
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所)
在过去的几年里,深度生成模型,如生成对抗网络\autocite{GAN}、变分自编码器\autocite{vaepaper}及其变体,已经被广泛用于复杂数据分布建模的任务。尽管这些早期的方法取得了出色的样本质量,但它们对目标分布\emph{implicitly}进行建模,因为它们诱导的概率密度函数无法明确获得。这一事实使得这些方法不适合需要例如用学习的分布对数据的新实例进行评分的任务。规范化流通过利用概率密度函数的变量变化公式,并通过使用设计为具有易处理且易于计算的雅可比矩阵的变换,克服了这一限制。虽然灵活,这个框架缺乏(直到最近\autocites{semisuplearning_nflows, RAD})一种方法来引入离散结构(如在混合物中发现的)的模型,它允许构建,在无监督的情况下。本工作克服了这一点,通过使用归一化流作为混合模型中的组件,并为这样的模型设计了一个端到端的训练过程。该过程基于变分推断,并使用由神经网络参数化的变分后验。正如将变得清楚的那样,该模型自然地适用于(多模态)密度估计、半监督学习和聚类。该模型在两个合成数据集和一个真实数据集上进行了说明。关键词:深度生成模型,规范化流,变分推断,概率建模,混合模型。
2020-09-01 cs.LG stat.ML
Variational Mixture-of-Experts Autoencoders for Multi-Modal Deep Generative Models
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学)
学习跨越多种数据模态(如视觉和语言)的生成模型通常是出于学习更有用、更可概括的表示的愿望,这些表示忠实地捕捉模态之间的共同基础因素。在这项工作中,我们将成功学习这些模型视为满足四个标准:i)隐式潜在分解为共享和私有子空间,ii)所有模态的连贯联合生成,iii)跨单个模态的连贯交叉生成,以及iv)通过多模态集成改进单个模态的模型学习。在这里,我们提出了一个专家混合的多模态变分自动编码器(MMVAE)来学习不同模态集上的生成模型,包括具有挑战性的图像语言数据集,并证明其能够在定性和定量上满足所有四个标准。
2019-11-08 cs.LG stat.ML
Lifelong Mixture of Variational Autoencoders
University of York(约克大学)
在本文中,我们提出了一个端到端的终身学习混合专家模型。每个专家由变分自编码器(VAE)实现。混合系统中的专家通过最大化给定训练样本的对数似然的单个分量证据下限(MELBO)的混合来联合训练。混合中的混合系数控制目标表示中每个专家的贡献。这些样本来自狄利克雷分布,其参数通过终身学习期间的非参数估计来确定。当新任务与以前学习的任务相似时,模型可以快速学习新任务。所提出的VAE终身混合物(L-MVAE)在学习全新任务时使用新组件扩展其架构。在训练之后,我们的模型可以自动确定在输入新的数据样本时要使用的相关专家。这种机制有利于内存效率和所需的计算成本,因为在推理过程中只使用一个专家。L-MVAE推理模型能够在与不同任务相关联的数据域之间的联合潜在空间中执行插值,并且被证明对于解纠缠学习表示是有效的。
2021-07-09 cs.AI cs.CV cs.LG
Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations
University of British Columbia(不列颠哥伦比亚大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
自然梯度方法使变分推断的算法快速而简单,但由于计算困难,它们的使用主要限于\emph{minimal}指数族(EF)近似。在本文中,我们将其应用扩展到估计\emph{structured}近似,如混合EF分布。这种近似可以拟合复杂的多峰后验分布,并且通常比单峰EF近似更准确。通过使用这样的近似的\emph{minimal conditional-EF}表示,我们得到简单的自然梯度更新。我们的实证结果表明,我们的自然梯度方法相比,黑盒梯度为基础的方法与重新参数化梯度的收敛速度更快。我们的工作扩大了自然梯度的范围,贝叶斯推断,使他们更广泛的适用于比以前。
2020-11-06 cs.LG stat.ML
Variational Approach for Efficient KL Divergence Estimation in Dirichlet Mixture Models
LMU Munich(慕尼黑大学)
提出变分闭式解高效估计狄利克雷混合模型中的KL散度,显著提升计算效率与准确性,优于蒙特卡洛方法,促进组合数据聚类分析。
2024-03-18 cs.LG math.ST stat.ML
Disentangling to Cluster: Gaussian Mixture Variational Ladder Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
在聚类中,我们通常为每个数据点输出一个聚类变量。然而,情况并不一定是只有一种方法可以将给定的数据集划分为集群组件。例如,人们可以根据颜色或类型对对象进行聚类。不同的属性形成了一个层次结构,我们可以希望在其中任何一个中进行集群。通过将一些数据集的学习潜在表示分解为不同属性的不同层,我们可以在这些潜在空间中进行聚类。我们称之为“解纠缠聚类”。扩展变分梯形自动编码器(Zhao等人,2017),我们提出了一种聚类算法,VLAC,在SVHN的测试集上,它在数字身份的聚类精度上优于高斯混合DGM。我们还展示了学习集群联合在许多层的层次结构的潜在变量的数据,并显示组件明智的生成从这个层次模型。
2019-12-04 cs.LG stat.ML
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University(早稻田大学数据科学中心)
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题,提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法,在有限树宽树深假设下实现高效计算,并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
Recursive Inference for Variational Autoencoders
Samsung AI Center(三星人工智能中心);Rutgers University(罗格斯大学)
传统的变分自编码器(VAE)的推理网络通常被摊销,导致与实例变分优化相比相对不准确的后验近似。最近提出的半摊销的方法来解决这个缺点,但是,他们的迭代梯度更新程序可以计算要求。为了解决这些问题,在本文中,我们介绍了一个准确的摊销推理算法。我们提出了一种新的递归混合估计算法的VAE,迭代增加当前的混合与新的组件,以最大限度地减少变分和真正的后验之间的分歧。使用函数梯度方法,我们设计了一个直观的学习标准来选择一个新的混合成分:新的成分必须提高数据的似然性(下限),同时,尽可能地偏离当前的混合分布,从而增加代表性的多样性。与最近提出的提升变分推理(BVI)相比,我们的方法依赖于摊销推理,而不是BVI的非摊销单一优化实例。我们的方法的一个关键好处是,在测试时的推理需要一个单一的前馈通过混合推理网络,使其显着快于半摊销的方法。我们表明,我们的方法产生更高的测试数据的可能性比国家的最先进的几个基准数据集。
2020-11-17 cs.LG stat.ML
Variational Autoencoder with Embedded Student-$t$ Mixture Model for Authorship Attribution
Ruhr University Bochum(波鸿鲁尔大学);Bucknell University(巴克内尔大学)
传统的计算作者归属描述的是闭集场景下的分类任务。给定一组有限的候选作者和相应的标记文本,目标是确定哪些作者写了另一组匿名或有争议的文本。在这项工作中,我们提出了一个概率自动编码框架来处理这个监督分类任务。更确切地说,我们正在扩展的变分自编码器(VAE)与嵌入高斯混合模型的学生- $t$混合模型。自动编码器在学习潜在表征方面取得了巨大的成功。然而,现有的VAE目前仍然受到潜在空间中潜在概率分布的假定高斯性所施加的限制的约束。在这项工作中,我们将VAE的高斯模型扩展到Student- $t$模型,该模型允许独立控制隐含概率密度各自尾部的“沉重程度”。在亚马逊评论数据集上的实验表明,所提出的方法具有优越的性能。
2020-05-28 cs.CL cs.LG stat.ML
Audio Source Separation Using Variational Autoencoders and Weak Class Supervision
Boğaziçi University(博阿齐奇大学);MEF University(MEF大学)
在本文中,我们提出了一种声源分离方法,该方法通过观察混合物和混合物中存在的源的类标签来训练,而无需访问任何孤立的源。由于我们的方法不需要每个时频点的源类标签,而只需要构成混合信号的每个源的单个标签,因此我们将这种情况称为弱类监督。我们将变分自编码器(VAE)与非负(组合)模型中的每个源类相关联。每个VAE都提供了一个先验模型来识别声音混合中与其相关的信号。在对混合模型进行训练后,我们为每个源类获得了一个生成模型,并在从0到9的数字的一秒混合语音上演示了我们的方法。我们表明,源类监督所获得的分离性能是一样好的源信号监督所获得的性能。
2019-08-04 cs.LG cs.SD eess.AS
Annealing in variational inference mitigates mode collapse: A theoretical study on Gaussian mixtures
Departement d’Informatique, École Normale Supérieure, Université PSL, CNRS(信息学院,巴黎高等师范学院,巴黎理工大学,CNRS);Laboratoire de Physique de l’École Normale Supérieure, Université PSL, CNRS(巴黎高等师范学院物理实验室,巴黎理工大学,CNRS)
本文通过理论分析证明退火策略能有效缓解变分推断中的模式崩溃问题,并验证其在神经网络模型中的适用性。
2026-11-10 cs.LG stat.ML
Mixture-of-Experts Variational Autoencoder for Clustering and Generating from Similarity-Based Representations on Single Cell Data
ETH Zürich(苏黎世联邦理工学院);Life Science Graduate School Zurich(苏黎世生命科学研究生院);Swiss Institute of Bioinformatics(瑞士生物信息学研究所);University of Tübingen(图宾根大学)
聚类高维数据,如图像或生物测量,是一个长期存在的问题,并已被广泛研究。最近,深度聚类由于其在适应复杂数据的特定特性方面的灵活性而受到欢迎。本文介绍了一种新的生成式聚类模型MoE-Sim-VAE(混合专家模型Similarity变分自编码器),该模型能够学习高维数据的多模态分布,并利用这些分布高效地生成真实数据。MoE-Sim-VAE基于变分自编码器(VAE),其中解码器由混合专家模型(MoE)架构组成。这种特定的架构允许通过专家自动学习数据的各种模式。此外,我们鼓励我们模型的低维潜在表示遵循高斯混合分布,并准确表示数据点之间的相似性。我们评估了我们的模型在MNIST基准数据集上的性能,并挑战了从单细胞RNA测序测量中聚类小鼠器官和从数百个不同数据集上的质谱仪(CyTOF)测量中定义细胞亚群的现实任务。与基线以及竞争对手的方法相比,MoE-Sim-VAE在所有这些任务上都表现出卓越的聚类性能。
2020-12-18 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs(Orange实验室);Institute Mines-Telecom Atlantique(大西洋矿业电信学院)
由于重新参数化技巧,深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而,将它们与非参数先验(如狄利克雷过程(DP))耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型(DP-DLGMM)变分后验的另一种处理方法,证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法,我们表明我们的模型能够为获得的每个聚类生成真实的样本,并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Truncated Gaussian-Mixture Variational AutoEncoder
Stanford University(斯坦福大学);SRI International(SRI国际)
变分自动编码器(VAE)已成为一个强大的工具,在建模的非线性生成过程的数据从一个低维的潜在空间。最近,一些研究提出使用VAE通过使用混合模型来捕获潜在表征的多模态结构,从而进行无监督聚类。然而,这种策略是无效的,当有离群数据样本的潜在表示是毫无意义的,但污染的潜在空间中的关键主要集群的估计。这个确切的问题出现在静息态功能磁共振成像(rs-fMRI)分析的背景下,其中聚集主要功能连接模式往往受到rs-fMRI的严重噪音和许多不感兴趣的小集群(罕见的连接模式)的阻碍。在本文中,我们提出了一种新的生成过程,在该过程中,我们使用高斯混合模型的数据中的几个主要的集群,并使用一个非信息的均匀分布来捕获剩余的数据。我们将这个截断的高斯混合模型嵌入到一个变分自编码器框架中,以获得一个通用的联合聚类和离群点检测方法,称为tGM-VAE。我们证明了tGM-VAE在MNIST数据集上的适用性,并在rs-fMRI连接分析的背景下进一步验证了它。
2021-06-26 cs.LG stat.ML
Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification
Cornell University(康奈尔大学)
多标签分类(MLC)是一种预测任务,其中每个样本可以有多个标签。提出了一种基于高斯混合变分自编码器(C-GMVAE)的对比学习增强多标签预测模型,该模型学习多模态先验空间并采用对比损失。除了预测模块之外,许多现有方法还引入额外复杂的神经模块,如图神经网络,以捕获标签相关性。我们发现,通过在监督环境中使用对比学习,我们可以以数据驱动的方式有效地利用标签信息,并学习有意义的特征和标签嵌入,从而捕获标签相关性并提高预测能力。我们的方法还采用了学习和对齐特征和标签的潜在空间的思想。与以前基于单峰先验的工作相比,C-GMVAE在潜在空间上施加高斯混合结构,以减轻后验崩溃和过度正则化问题。C-GMVAE在多个公共数据集上的性能优于现有方法,并且通常可以仅用50%的训练数据来匹配其他模型的全部性能。此外,我们表明,学习嵌入提供了深入了解标签标签相互作用的解释。
2022-06-10 cs.LG
Cooperation in the Latent Space: The Benefits of Adding Mixture Components in Variational Autoencoders
KTH Royal Institute of Technology(瑞典皇家理工学院);Science for Life Laboratory(生命科学实验室);Klarna(克拉纳);University of Edinburgh(爱丁堡大学)
该研究揭示变分自编码器中混合成分协作最大化ELBO的机制,证实增加混合成分可提升潜在表示能力,结合相关技术实现图像数据集上VAE架构的最优对数似然效果。
2023-07-14 cs.LG stat.ML
Scaling Gaussian Processes with Derivative Information Using Variational Inference
Cornell University(康奈尔大学);University of Pennsylvania(宾夕法尼亚大学)
具有导数信息的高斯过程在导数信息可用的许多设置中是有用的,包括自然科学中出现的许多贝叶斯优化和回归任务。然而,当在$D$输入维度中的$N$点上进行训练时,对导数观测值进行分类伴随着主要的$O(N^3D^3)$计算成本。即使是中等规模的问题,这也是棘手的。虽然最近的工作已经解决了低$D$设置中的这种棘手性,但是高$N$、高$D$设置仍然是未探索的并且具有很大的价值,特别是当机器学习问题日益变得高维时.在本文中,我们介绍的方法来实现完全可扩展的高斯过程回归的衍生工具,使用变分推理。类似于使用诱导值来稀疏化训练集的标签,我们引入诱导方向导数的概念来稀疏化训练集的偏导数信息。这使我们能够构建一个变分后,采用衍生信息,但其大小既不依赖于完整的数据集大小$N$,也不全维度$D$。我们展示了我们的方法在各种任务上的完全可扩展性,从高维仿星器融合回归任务到使用贝叶斯优化在Pubmed上训练图卷积神经网络。令人惊讶的是,我们发现,即使在只有标签数据的情况下,我们的方法也可以提高回归性能。
2021-07-08 cs.AI cs.LG stat.ML
ELBOing Stein: Variational Bayes with Stein Mixture Inference
University of Copenhagen(哥本哈根大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Luxembourg(卢森堡大学);University of California, Irvine(加州大学欧文分校)
针对SVGD的方差坍缩问题,提出Stein混合推断(SMI),通过粒子参数化混合分量并优化ELBO,以较少粒子准确估计不确定性,适用于高维宽数据。
2025-01-24 cs.LG stat.ML
Resisting Adversarial Attacks using Gaussian Mixture Variational Autoencoders
Max Planck Institute of Intelligent Systems(马克斯·普朗克智能系统研究所);IBM Research AI(IBM研究院人工智能部门)
深度神经网络对对抗攻击的敏感性构成了一个重大的理论和实践挑战。所有强化分类器以抵御此类攻击的努力都取得了有限的成功。深度网络容易受到的两种不同类型的样本,“对抗样本”和“欺骗样本”,由于一起考虑时所带来的困难,到目前为止已经分别处理。在这项工作中,我们将展示如何在一个统一的框架下解决这两个问题。我们将一个判别模型与一个生成模型联系起来,使对抗性目标产生冲突。我们的模型具有变分自编码器的形式,在潜在向量上具有高斯混合先验。先验分布的每个混合分量对应于数据中的一个类。这使我们能够执行选择性分类,从而拒绝对抗样本而不是错误分类。我们的方法本质上也提供了一种在半监督场景中学习选择性分类器的方法,该方法可以抵抗对抗攻击。我们还展示了如何重新分类被拒绝的对抗样本。
2018-12-10 cs.CR cs.LG stat.ML
Variational Gaussian Mixture Manifold Models for Client-Specific Federated Personalization
University of Texas at El Paso(德克萨斯理工大学);Southern Illinois University Carbondale(南方伊利诺伊大学卡罗尔代尔分校)
针对标签偏斜问题,提出VGM$^2$框架,通过学习客户端特定的UMAP嵌入并仅交换不确定性感知的标记统计量,在保护隐私的同时实现了优异的个性化联邦学习性能。
2025-09-04 cs.LG
Variational Mixtures of ODEs for Inferring Cellular Gene Expression Dynamics
University of Michigan(密歇根大学)
计算生物学中的一个关键问题是发现调节细胞命运转变的基因表达变化,其中一种细胞类型转变为另一种。然而,不能纵向跟踪每个单独的细胞,并且实时的处于相同点的细胞可能处于过渡过程的不同阶段。这可以被看作是一个从时间未知的观测中学习动力系统行为的问题。此外,单个祖细胞类型通常分叉成多个子细胞类型,进一步使动态建模的问题复杂化。为了解决这个问题,我们开发了一种称为变分混合常微分方程的方法。通过使用一个简单的由基因表达的生物化学告知的ODE家族来约束深度生成模型的可能性,我们可以同时推断每个细胞的潜伏时间和潜伏状态,并预测其未来的基因表达状态。该模型可以被解释为常微分方程的混合物,其参数在细胞状态的潜在空间中连续变化。与以前的方法相比,我们的方法大大提高了数据拟合,潜伏时间推断和单细胞基因表达数据的未来细胞状态估计。
2022-07-09 cs.LG q-bio.GN
DIVA: A Dirichlet Process Mixtures Based Incremental Deep Clustering Algorithm via Variational Auto-Encoder
Technical University of Munich(慕尼黑工业大学);Politecnico di Milano(米兰理工大学);Chongqing University(重庆大学);Sun Yat-sen University(中山大学)
提出非参数深度聚类框架DIVA,利用无限高斯混合先验与记忆化在线变分推断实现簇的动态生成与合并,无需预设簇数,在动态增量特征复杂数据分类上优于现有基线。
2023-11-24 cs.LG stat.ML
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London(帝国理工学院)
我们研究了变分自编码器模型(VAE)的一个变体,该模型以高斯混合作为先验分布,目标是通过深度生成模型执行无监督聚类。我们观察到,已知的问题,已被证明出现在定期VAE也体现在我们的模型,并导致集群退化。我们表明,一个启发式称为最小信息约束,已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外,我们分析了这种启发式的效果,并提供了直观的各种过程的可视化的帮助。最后,我们证明了我们的模型在合成数据,MNIST和SVHN上的性能,表明所获得的聚类是独特的,可解释的,并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
Stick-Breaking Mixture Normalizing Flows with Component-Wise Tail Adaptation for Variational Inference
Department of Statistics(统计系);Seoul National University(首尔国立大学)
提出StiCTAF方法,通过stick-breaking混合基与分量级尾部自适应,解决归一化流在后验近似中难以捕捉多模态和重尾的问题,实现准确模式覆盖与尾部建模。
2025-10-09 cs.LG stat.ML
Variational Mixture of Graph Neural Experts for Alzheimer's Disease Recognition across Frequency Bands in EEG Brain Networks
Department of Industrial and Systems Engineering, Rutgers University(鲁特大学工业与系统工程系);Department of Psychiatry and Behavioral Sciences, University of Minnesota(明尼苏达大学精神病学与行为科学系);Institute of Brain Science, College of Medicine, National Yang-Ming Chiao Tung University(国家阳明交通大学医学院脑科学研究所)
针对痴呆症脑电图诊断难题,提出VMoGE框架,结合多频段脑电图分析、变分图神经网络和专家混合架构。实验显示其性能强大,还具有临床转化价值,能关联疾病指标、揭示频段变化,为痴呆症诊断提供新方法和依据。
2026-08-13 cs.LG
Mixture-of-Variational-Experts for Continual Learning
Ulm University(乌尔姆大学);Institute of Neural Information Processing(神经信息处理研究所)
机器学习算法的一个弱点是模型在不忘记先前获得的知识的情况下解决新问题的能力很差。持续学习(CL)范式已经成为一种系统地研究环境的协议,其中模型顺序观察由一系列任务生成的样本。在这项工作中,我们采取任务不可知论的观点持续学习,并制定了一个分层的信息理论的最优性原则,促进学习和遗忘之间的权衡。我们从贝叶斯的角度讨论这一原则,并显示其连接到以前的方法CL。基于这一原则,我们提出了一个神经网络层,称为混合变分专家层,通过创建一组信息处理路径通过网络,这是由门控策略,它消除了遗忘。由于基于通用效用函数的一般公式,我们可以将此最优性原则应用于各种各样的学习问题,包括监督学习,强化学习和生成式建模。我们证明了我们的方法在连续监督学习和连续强化学习中的竞争力。
2022-03-01 cs.LG stat.ML
Improving Normative Modeling for Multi-modal Neuroimaging Data using mixture-of-product-of-experts variational autoencoders
Department of Computer Science and Engineering, Washington University in St. Louis, USA(计算机科学与工程系,华盛顿大学圣路易斯分校);Institute for Informatics, Data Science and Biostatistics, Washington University in St.Louis, USA(信息学、数据科学与生物统计研究所,华盛顿大学圣路易斯分校);Department of Radiology, Washington University in St.Louis, USA(放射学系,华盛顿大学圣路易斯分校)
本文提出利用混合专家积变分自编码器改进多模态神经影像数据的规范建模,以更准确地识别异常个体及异常脑区。
2023-12-02 cs.LG
Variational Consensus Monte Carlo for Bayesian Mixture
MRC Biostatistics Unit, University of Cambridge(剑桥大学生物统计学单位);Institute of Applied Health Research, University of Birmingham(伯明翰大学应用健康研究学院)
提出变分共识蒙特卡洛方法扩展至过拟合贝叶斯混合模型,通过新颖的聚类匹配算法和聚合策略,在联邦学习设置下推断聚类数和所有参数,并在模拟和真实电子健康记录数据上验证了有效性。
2026-06-19 cs.LG stat.ML
Variational Mixture of HyperGenerators for Learning Distributions Over Functions
Saarland University(萨尔兰大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
针对现有基于隐式神经表示的函数空间生成模型推理任务成本高、能力弱的问题,提出结合INRs、VAE、归一化流与混合超网络的VAMoH模型,可高效学习函数分布并在多类推理任务上表现更优。
2023-07-20 cs.LG
Automatic Differentiation Variational Inference with Mixtures
Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院)
自动微分变分推理(ADVI)是机器学习中有效学习概率模型的有效工具。通常,ADVI学习的近似后验被强制为单峰,以便于使用重新参数化技巧。在本文中,我们将展示如何分层抽样可用于使混合分布的近似后验,并推导出一个新的下界的证据类似的重要性加权自动编码器(IWAE)。我们表明,这个“SIWAE”是一个更严格的约束比IWAE和传统的ELBO,这两个都是这个界限的特殊情况。我们验证经验,传统的ELBO目标不赞成多模态后验分布的存在,因此可能无法完全捕获潜在空间中的结构。我们的实验表明,使用SIWAE目标允许编码器学习更复杂的分布,这些分布经常包含多模态,从而在存在不完整,有限或损坏的数据的情况下实现更高的准确性和更好的校准。
2020-06-24 cs.LG stat.ML
Mode Collapse of Mean-Field Variational Inference
Columbia University(哥伦比亚大学)
本文针对平均场变分推断在混合目标分布上的模式坍塌问题,提出$\varepsilon$-分离性并给出质量分配界,进而引入旋转矩阵设计RoVI以缓解坍塌。
2026-10-14 cs.LG stat.ML
Flexible mean field variational inference using mixtures of non-overlapping exponential families
Stanford University(斯坦福大学)
稀疏模型是跨不同领域的许多应用程序所期望的,因为它们可以执行自动变量选择,帮助可解释性,并提供正则化。然而,当在贝叶斯框架中拟合稀疏模型时,除了最简单的情况之外,在所有情况下都难以解析地获得感兴趣的参数的后验分布。因此,从业者必须依赖于抽样算法,如马尔可夫链蒙特卡罗或变分方法,以获得一个近似的后验。平均场变分推理是一个特别简单和流行的框架,往往是服从解析推导的封闭形式的参数更新。当模型中的所有分布都是指数族的成员并且条件共轭时,通常可以手工导出优化方案。然而,我表明,使用标准的平均场变分推理可能无法产生合理的结果与稀疏诱导先验模型,如穗和板。幸运的是,这样的病态行为可以补救,因为我表明,混合指数族分布与非重叠的支持形成一个指数族。特别地,扩散指数族和在零处的点质量的任何混合以模型稀疏性形成指数族。此外,这些分布的特定选择保持条件共轭性。我用两个应用程序来激励这些结果:一个来自统计遗传学,它与广义最小二乘法有联系,在回归系数上有一个尖峰和厚板;和稀疏概率主成分分析。这里提出的理论结果是广泛适用于这两个例子之外。
2020-10-14 cs.LG math.ST stat.ML
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
Department of Computing, Imperial College London(伦敦帝国理工学院计算机系)
提出变分混合专家路由(VMoER),通过将贝叶斯推断限制在专家选择阶段,实现大规模模型的不确定性校准,在微调基础模型上显著提升路由稳定性、降低校准误差并提高分布外检测AUROC,且额外计算开销极小。
2026-05-28 cs.AI cs.LG stat.ML
Universal Boosting Variational Inference
University of British Columbia(不列颠哥伦比亚大学)
提升变分推断(BVI)通过迭代地建立简单分量分布的混合来逼近难以处理的概率密度,使用来自稀疏凸优化的技术来提供计算可扩展性和逼近误差保证。但是,保证有很强的条件,并不经常在实践中举行,导致退化组件优化问题,我们表明,用于防止退化的ad-hoc正则化在实践中可能会导致BVI不直观的方式失败。因此,我们开发了通用的提升变分推断(UBVI),BVI计划,利用简单的几何形状的概率密度下的Hellinger度量,以防止退化的其他基于梯度的BVI方法,避免困难的联合优化的组件和重量,并简化完全正确的重量优化。我们表明,对于任何目标密度和任何混合物成分的家庭,UBVI的输出收敛到最好的近似的混合物家庭,即使当混合物家庭是错误的。我们开发了一个可扩展的实现指数族混合成分和标准的随机最优化技术的基础上。最后,我们讨论了统计效益的Hellinger距离作为一个变分的目标,通过界的后验概率,矩,和重要性抽样错误。在多个数据集和模型上的实验表明,UBVI提供了可靠,准确的后验近似。
2019-10-27 cs.LG math.ST stat.CO
Infinite Variational Autoencoder for Semi-Supervised Learning
The University of Adelaide(阿德莱德大学)
本文提出了一种无限变分自编码器(VAE),其容量可根据输入数据进行调整。这是使用混合模型来实现的,其中混合系数由Dirichlet过程建模,允许我们在执行推断时对系数进行积分。重要的是,这允许我们根据数据自动改变混合中自动编码器的数量。实验表明,我们的方法的灵活性,特别是半监督学习,只有少量的训练样本。
2016-11-24 cs.LG stat.ML
Adaptive Exponential Integration for Stable Gaussian Mixture Black-Box Variational Inference
School of Mathematical Sciences, Peking University, Beijing, China(北京大学数学科学学院);Department of Mathematics, University of California, Los Angeles, CA, USA(加州大学洛杉矶分校数学系);Beijing International Center for Mathematical Research, Center for Machine Learning Research, Peking University, Beijing, China(北京国际数学研究中心,机器学习研究中心,北京大学,北京,中国)
针对高斯混合黑箱变分推断的不稳定和低效问题,提出结合仿射不变预处理、无条件保持协方差正定性的指数积分器和自适应时间步长的稳定高效框架,并证明其收敛性。
2026-05-28 cs.LG
Large Scale Clustering with Variational EM for Gaussian Mixture Models
University of Oldenburg(奥尔登堡大学)
本文提出了一个初步的(预审查)版本的次线性变分算法各向同性高斯混合模型(GRESS)。TPAMI(doi:10.1109/TPAMI.2021.3133763)在论文"A Variational EM Acceleration for Efficient Clustering at Very Large Scales"中公布了针对具有对角协方差阵(而不是各向同性聚类)的GARCH的算法的进一步发展及其相应的基准测试结果。我们请读者参考TPAMI论文,而不是这个更早的arXiv版本(TPAMI论文也是开放获取的)。本文附带了公开的源代码(参见https://github.com/variational-sublinear-clustering)。请注意,TPAMI论文不再包含8000万微小图像数据集的基准测试,因为我们遵循数据集创建者的呼吁,停止使用该数据集。该项目的目的(产生了这个arXiv版本和后来的TPAMI论文)是探索当前的效率和大规模限制,以拟合用于聚类的参数模型到数据分布。为了降低计算复杂度,我们使用了一个基于截断变分EM的聚类目标(这降低了许多聚类的复杂性)与coreset目标(这降低了许多数据点的复杂性)相结合。我们使用有效的coreset建设和有效的播种,将理论上的次线性复杂度收益转化为一个有效的算法。在标准的大规模集群基准测试的应用中,我们观察到了与已经非常高效的…
2022-06-21 cs.LG stat.ML
Learning Disentangled Representations of Timbre and Pitch for Musical Instrument Sounds Using Gaussian Mixture Variational Autoencoders
Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所);Yong Siew Toh Conservatory of Music, National University of Singapore(新加坡大学杨秀桃音乐学院)
在本文中,我们学习了乐器声音的音色和音高的分解表示。我们采用了一个基于高斯混合潜在分布的变分自编码器的框架。具体来说,我们使用两个单独的编码器来学习音色和音高的不同潜在空间,它们分别形成代表乐器身份和音高的高斯混合分量。对于重构,从相应的混合分量中采样音色和音高的潜变量,并将其连接作为解码器的输入。我们通过潜在空间可视化显示了模型的有效性,并且定量分析表明了这些空间的可辨别性,即使使用有限数量的仪器标签进行训练。该模型允许通过从潜在空间采样来可控地合成选定的乐器声音。为了评估这一点,我们使用原始标记数据训练乐器和音高分类器。这些分类器在我们合成的声音上测试时达到了很高的准确率,这验证了可控的真实音色和音高合成的模型性能。我们的模型还可以在多个乐器之间进行音色传输,使用单个自动编码器架构,通过测量乐器分类后验的偏移来评估。我们的深入评估证实了该模型能够成功地解开音色和音高。
2019-06-29 cs.LG cs.SD eess.AS