Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));University of Helsinki(赫尔辛基大学)
变分近似越来越多地基于对通过抽样估计的期望的基于梯度的优化。处理离散潜变量是具有挑战性的,因为采样过程是不可微的。连续松弛(例如分类分布的Gumbel-Softmax)支持基于梯度的优化,但不为离散观测定义有效的概率质量。在实践中,选择松弛量是困难的,并且需要优化与期望目标不一致的目标,这会导致问题,特别是对于具有强有意义先验的模型。我们提供了一个替代的可微重新参数化的分类分布组成的离散归一化流的混合物。它定义了一个适当的离散分布,允许直接优化证据下限,并且对超参数控制松弛不太敏感。
2021-02-08 cs.LG stat.ML
Variational Mixture of Normalizing Flows
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所)
在过去的几年里,深度生成模型,如生成对抗网络\autocite{GAN}、变分自编码器\autocite{vaepaper}及其变体,已经被广泛用于复杂数据分布建模的任务。尽管这些早期的方法取得了出色的样本质量,但它们对目标分布\emph{implicitly}进行建模,因为它们诱导的概率密度函数无法明确获得。这一事实使得这些方法不适合需要例如用学习的分布对数据的新实例进行评分的任务。规范化流通过利用概率密度函数的变量变化公式,并通过使用设计为具有易处理且易于计算的雅可比矩阵的变换,克服了这一限制。虽然灵活,这个框架缺乏(直到最近\autocites{semisuplearning_nflows, RAD})一种方法来引入离散结构(如在混合物中发现的)的模型,它允许构建,在无监督的情况下。本工作克服了这一点,通过使用归一化流作为混合模型中的组件,并为这样的模型设计了一个端到端的训练过程。该过程基于变分推断,并使用由神经网络参数化的变分后验。正如将变得清楚的那样,该模型自然地适用于(多模态)密度估计、半监督学习和聚类。该模型在两个合成数据集和一个真实数据集上进行了说明。关键词:深度生成模型,规范化流,变分推断,概率建模,混合模型。
2020-09-01 cs.LG stat.ML
Recursive Inference for Variational Autoencoders
Samsung AI Center(三星人工智能中心);Rutgers University(罗格斯大学)
传统的变分自编码器(VAE)的推理网络通常被摊销,导致与实例变分优化相比相对不准确的后验近似。最近提出的半摊销的方法来解决这个缺点,但是,他们的迭代梯度更新程序可以计算要求。为了解决这些问题,在本文中,我们介绍了一个准确的摊销推理算法。我们提出了一种新的递归混合估计算法的VAE,迭代增加当前的混合与新的组件,以最大限度地减少变分和真正的后验之间的分歧。使用函数梯度方法,我们设计了一个直观的学习标准来选择一个新的混合成分:新的成分必须提高数据的似然性(下限),同时,尽可能地偏离当前的混合分布,从而增加代表性的多样性。与最近提出的提升变分推理(BVI)相比,我们的方法依赖于摊销推理,而不是BVI的非摊销单一优化实例。我们的方法的一个关键好处是,在测试时的推理需要一个单一的前馈通过混合推理网络,使其显着快于半摊销的方法。我们表明,我们的方法产生更高的测试数据的可能性比国家的最先进的几个基准数据集。
2020-11-17 cs.LG stat.ML
Annealing in variational inference mitigates mode collapse: A theoretical study on Gaussian mixtures
Departement d’Informatique, École Normale Supérieure, Université PSL, CNRS(信息学院,巴黎高等师范学院,巴黎理工大学,CNRS);Laboratoire de Physique de l’École Normale Supérieure, Université PSL, CNRS(巴黎高等师范学院物理实验室,巴黎理工大学,CNRS)
本文通过理论分析证明退火策略能有效缓解变分推断中的模式崩溃问题,并验证其在神经网络模型中的适用性。
2026-11-10 cs.LG stat.ML
Truncated Gaussian-Mixture Variational AutoEncoder
Stanford University(斯坦福大学);SRI International(SRI国际)
变分自动编码器(VAE)已成为一个强大的工具,在建模的非线性生成过程的数据从一个低维的潜在空间。最近,一些研究提出使用VAE通过使用混合模型来捕获潜在表征的多模态结构,从而进行无监督聚类。然而,这种策略是无效的,当有离群数据样本的潜在表示是毫无意义的,但污染的潜在空间中的关键主要集群的估计。这个确切的问题出现在静息态功能磁共振成像(rs-fMRI)分析的背景下,其中聚集主要功能连接模式往往受到rs-fMRI的严重噪音和许多不感兴趣的小集群(罕见的连接模式)的阻碍。在本文中,我们提出了一种新的生成过程,在该过程中,我们使用高斯混合模型的数据中的几个主要的集群,并使用一个非信息的均匀分布来捕获剩余的数据。我们将这个截断的高斯混合模型嵌入到一个变分自编码器框架中,以获得一个通用的联合聚类和离群点检测方法,称为tGM-VAE。我们证明了tGM-VAE在MNIST数据集上的适用性,并在rs-fMRI连接分析的背景下进一步验证了它。
2021-06-26 cs.LG stat.ML
Cooperation in the Latent Space: The Benefits of Adding Mixture Components in Variational Autoencoders
KTH Royal Institute of Technology(瑞典皇家理工学院);Science for Life Laboratory(生命科学实验室);Klarna(克拉纳);University of Edinburgh(爱丁堡大学)
该研究揭示变分自编码器中混合成分协作最大化ELBO的机制,证实增加混合成分可提升潜在表示能力,结合相关技术实现图像数据集上VAE架构的最优对数似然效果。
2023-07-14 cs.LG stat.ML
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Variational embedding of protein folding simulations using gaussian mixture variational autoencoders
Department of Chemical and Biomolecular Engineering, University of Maryland(马里兰大学化学与生物分子工程系)
利用分子动力学模拟对生物分子进行构象采样通常会产生大量的高维数据,这使得难以使用常规分析技术进行解释。因此,需要采用简化方法来提取有用的相关信息。在这里,我们设计了一个机器学习方法,高斯混合变分自动编码器(GMVAE),可以同时进行降维和聚类的生物分子构象在无监督的方式。我们表明,GMVAE可以学习的自由能景观的蛋白质折叠高度分离的集群,对应于亚稳态折叠过程中的代表性降低。由于GMVAE使用混合高斯作为先验,它可以直接承认蛋白质折叠自由能景观的多流域性质。为了使模型端到端可微,我们使用Gumbel-softmax分布。我们在三个长时间尺度的蛋白质折叠轨迹上测试了该模型,并表明GMVAE嵌入类似于折叠漏斗,折叠状态沿着漏斗向下,展开状态在漏斗路径的外部。此外,我们表明,GMVAE的潜空间可用于动力学分析,并且建立在这种嵌入上的马尔可夫状态模型产生的折叠和展开时间尺度与其他严格的动力学嵌入非常一致例如时间独立分量分析(TICA)。
2021-08-27 cs.LG physics.comp-ph q-bio.BM
Lifelong Mixture of Variational Autoencoders
University of York(约克大学)
在本文中,我们提出了一个端到端的终身学习混合专家模型。每个专家由变分自编码器(VAE)实现。混合系统中的专家通过最大化给定训练样本的对数似然的单个分量证据下限(MELBO)的混合来联合训练。混合中的混合系数控制目标表示中每个专家的贡献。这些样本来自狄利克雷分布,其参数通过终身学习期间的非参数估计来确定。当新任务与以前学习的任务相似时,模型可以快速学习新任务。所提出的VAE终身混合物(L-MVAE)在学习全新任务时使用新组件扩展其架构。在训练之后,我们的模型可以自动确定在输入新的数据样本时要使用的相关专家。这种机制有利于内存效率和所需的计算成本,因为在推理过程中只使用一个专家。L-MVAE推理模型能够在与不同任务相关联的数据域之间的联合潜在空间中执行插值,并且被证明对于解纠缠学习表示是有效的。
2021-07-09 cs.AI cs.CV cs.LG
Open-Set Recognition with Gaussian Mixture Variational Autoencoders
Northwestern University(西北大学)
在推理中,开集分类是将样本分类到训练中的已知类或将其拒绝为未知类。现有的深度开集分类器训练显式闭集分类器,在某些情况下,分离地利用重建,我们发现稀释了潜在的表示的能力,以区分未知的类。相比之下,我们训练我们的模型来合作学习重建,并在潜在空间中执行基于类的聚类。有了这个,我们的高斯混合变分自编码器(GMVAE)实现了更准确和更强大的开集分类结果,平均F1提高了29.5%,通过大量的实验分析结果的帮助。
2020-06-03 cs.CV cs.LG cs.NE
Variational Autoencoder with Embedded Student-$t$ Mixture Model for Authorship Attribution
Ruhr University Bochum(波鸿鲁尔大学);Bucknell University(巴克内尔大学)
传统的计算作者归属描述的是闭集场景下的分类任务。给定一组有限的候选作者和相应的标记文本,目标是确定哪些作者写了另一组匿名或有争议的文本。在这项工作中,我们提出了一个概率自动编码框架来处理这个监督分类任务。更确切地说,我们正在扩展的变分自编码器(VAE)与嵌入高斯混合模型的学生- $t$混合模型。自动编码器在学习潜在表征方面取得了巨大的成功。然而,现有的VAE目前仍然受到潜在空间中潜在概率分布的假定高斯性所施加的限制的约束。在这项工作中,我们将VAE的高斯模型扩展到Student- $t$模型,该模型允许独立控制隐含概率密度各自尾部的“沉重程度”。在亚马逊评论数据集上的实验表明,所提出的方法具有优越的性能。
2020-05-28 cs.CL cs.LG stat.ML
Audio Source Separation Using Variational Autoencoders and Weak Class Supervision
Boğaziçi University(博阿齐奇大学);MEF University(MEF大学)
在本文中,我们提出了一种声源分离方法,该方法通过观察混合物和混合物中存在的源的类标签来训练,而无需访问任何孤立的源。由于我们的方法不需要每个时频点的源类标签,而只需要构成混合信号的每个源的单个标签,因此我们将这种情况称为弱类监督。我们将变分自编码器(VAE)与非负(组合)模型中的每个源类相关联。每个VAE都提供了一个先验模型来识别声音混合中与其相关的信号。在对混合模型进行训练后,我们为每个源类获得了一个生成模型,并在从0到9的数字的一秒混合语音上演示了我们的方法。我们表明,源类监督所获得的分离性能是一样好的源信号监督所获得的性能。
2019-08-04 cs.LG cs.SD eess.AS
Synthesising Counterfactual Explanations via Label-Conditional Gaussian Mixture Variational Autoencoders
Imperial College London(帝国理工学院伦敦分校);J.P. Morgan AI Research(摩根大通人工智能研究);King’s College London(伦敦国王学院)
LAPACE通过标签条件高斯混合变分自编码器生成稳健且多样化的反事实解释路径,实现高效且模型无关的CE合成。
2026-02-27 cs.LG
Stick-Breaking Mixture Normalizing Flows with Component-Wise Tail Adaptation for Variational Inference
Department of Statistics(统计系);Seoul National University(首尔国立大学)
提出StiCTAF方法,通过stick-breaking混合基与分量级尾部自适应,解决归一化流在后验近似中难以捕捉多模态和重尾的问题,实现准确模式覆盖与尾部建模。
2025-10-09 cs.LG stat.ML
Resisting Adversarial Attacks using Gaussian Mixture Variational Autoencoders
Max Planck Institute of Intelligent Systems(马克斯·普朗克智能系统研究所);IBM Research AI(IBM研究院人工智能部门)
深度神经网络对对抗攻击的敏感性构成了一个重大的理论和实践挑战。所有强化分类器以抵御此类攻击的努力都取得了有限的成功。深度网络容易受到的两种不同类型的样本,“对抗样本”和“欺骗样本”,由于一起考虑时所带来的困难,到目前为止已经分别处理。在这项工作中,我们将展示如何在一个统一的框架下解决这两个问题。我们将一个判别模型与一个生成模型联系起来,使对抗性目标产生冲突。我们的模型具有变分自编码器的形式,在潜在向量上具有高斯混合先验。先验分布的每个混合分量对应于数据中的一个类。这使我们能够执行选择性分类,从而拒绝对抗样本而不是错误分类。我们的方法本质上也提供了一种在半监督场景中学习选择性分类器的方法,该方法可以抵抗对抗攻击。我们还展示了如何重新分类被拒绝的对抗样本。
2018-12-10 cs.CR cs.LG stat.ML
Infinite Variational Autoencoder for Semi-Supervised Learning
The University of Adelaide(阿德莱德大学)
本文提出了一种无限变分自编码器(VAE),其容量可根据输入数据进行调整。这是使用混合模型来实现的,其中混合系数由Dirichlet过程建模,允许我们在执行推断时对系数进行积分。重要的是,这允许我们根据数据自动改变混合中自动编码器的数量。实验表明,我们的方法的灵活性,特别是半监督学习,只有少量的训练样本。
2016-11-24 cs.LG stat.ML
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders
Imperial College London(帝国理工学院)
我们研究了变分自编码器模型(VAE)的一个变体,该模型以高斯混合作为先验分布,目标是通过深度生成模型执行无监督聚类。我们观察到,已知的问题,已被证明出现在定期VAE也体现在我们的模型,并导致集群退化。我们表明,一个启发式称为最小信息约束,已被证明可以减轻这种影响VAE也可以应用于提高无监督聚类性能与我们的模型。此外,我们分析了这种启发式的效果,并提供了直观的各种过程的可视化的帮助。最后,我们证明了我们的模型在合成数据,MNIST和SVHN上的性能,表明所获得的聚类是独特的,可解释的,并导致在无监督聚类上达到与最先进的结果竞争的性能。
2017-01-13 cs.LG cs.NE stat.ML
PDGMM-VAE: A Variational Autoencoder with Adaptive Per-Dimension Gaussian Mixture Model Priors for Nonlinear ICA
Hong Kong Polytechnic University(香港理工大学)
本文提出PDGMM-VAE,通过为每个潜在维度分配独立的高斯混合模型先验,实现非线性ICA中的源分离。模型通过自适应学习先验参数,提升对非高斯源统计的捕捉能力,实验表明其在非线性和线性混合问题中表现优异。
2026-03-20 cs.LG stat.ML
A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
我们提出了一个VAE的Transformers通过开发一个变信息瓶颈正则化Transformer嵌入。我们正式的嵌入空间的Transformer编码器的混合概率分布,并使用贝叶斯nonparametrics推导出一个非参数的变分信息瓶颈(NVIB),这样的注意力为基础的嵌入。由非参数方法支持的混合成分的可变数量捕获了由注意力支持的向量的可变数量,并且我们的非参数分布的互换性捕获了注意力的排列不变性。这使得NVIB能够规范注意力可访问的向量数量,以及单个向量中的信息量。通过对Transformer编解码器与NVIB的交叉注意进行正则化,提出了一种非参数变分自编码器(NVAE)。在自然语言文本上训练NVAE的初步实验表明,诱导的嵌入空间具有用于Transformers的VAE的期望属性。
2022-08-12 cs.CL cs.LG
Learning Mechanistic Subtypes of Neurodegeneration with a Physics-Informed Variational Autoencoder Mixture Model
Sussex AI Centre, School of Engineering and Informatics, University of Sussex, UK(Sussex大学人工智能中心,工程与信息学学院,英国)
本文提出物理信息变分自编码器混合模型,通过集成反应-扩散PDE从神经影像中学习多种潜在动态机制亚型,并在合成数据和阿尔茨海默病PET数据上验证其揭示机制亚型的潜力。
2025-09-18 cs.CV cs.LG eess.IV
Learning Disentangled Representations of Timbre and Pitch for Musical Instrument Sounds Using Gaussian Mixture Variational Autoencoders
Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所);Yong Siew Toh Conservatory of Music, National University of Singapore(新加坡大学杨秀桃音乐学院)
在本文中,我们学习了乐器声音的音色和音高的分解表示。我们采用了一个基于高斯混合潜在分布的变分自编码器的框架。具体来说,我们使用两个单独的编码器来学习音色和音高的不同潜在空间,它们分别形成代表乐器身份和音高的高斯混合分量。对于重构,从相应的混合分量中采样音色和音高的潜变量,并将其连接作为解码器的输入。我们通过潜在空间可视化显示了模型的有效性,并且定量分析表明了这些空间的可辨别性,即使使用有限数量的仪器标签进行训练。该模型允许通过从潜在空间采样来可控地合成选定的乐器声音。为了评估这一点,我们使用原始标记数据训练乐器和音高分类器。这些分类器在我们合成的声音上测试时达到了很高的准确率,这验证了可控的真实音色和音高合成的模型性能。我们的模型还可以在多个乐器之间进行音色传输,使用单个自动编码器架构,通过测量乐器分类后验的偏移来评估。我们的深入评估证实了该模型能够成功地解开音色和音高。
2019-06-29 cs.LG cs.SD eess.AS
Federated Learning for Misbehaviour Detection with Variational Autoencoders and Gaussian Mixture Models
University of Murcia(穆尔西亚大学)
本研究提出一种结合VAE与GMM的无监督联邦学习方法,用于车载环境异常行为检测,借助云服务实现聚合与共享,搭配RBM预训练及Fedplus聚合,在VeReMi数据集上性能超80%,优于现有监督方案。
2024-05-16 cs.DC cs.LG
One-Shot Learning using Mixture of Variational Autoencoders: a Generalization Learning approach
Eindhoven University of Technology(埃因霍温理工大学)
深度学习,即使现在非常成功,传统上也需要非常大量的标记数据才能在分类任务中表现出色。为了解决这个问题,一次性学习范式变得越来越重要,这种范式只使用每个类和先验知识中的一个标记样本。在本文中,我们提出了一种新的一次性学习方法,称为MoVAE(混合变分自编码器),进行分类。作为对先前研究的补充,与通常的一次性学习方法相比,MoVAE代表了范式的转变,因为它不使用任何先验知识。相反,它从零知识和每个类一个标记样本开始。之后,通过使用未标记的数据和泛化学习概念(在某种程度上,更像人类),它能够逐渐提高自己的性能。更重要的是,如果没有未标记的数据可用,MoVAE仍然可以在一次性学习分类中表现良好。我们实证证明了我们提出的方法在三个数据集上的效率,即手写数字(MNIST),时尚产品(Fashion-MNIST)和手写字符(Omniglot),表明MoVAE优于最先进的一次性学习算法。
2018-04-18 cs.CV cs.LG stat.ML
From the Expectation Maximisation Algorithm to Autoencoded Variational Bayes
虽然期望最大化(EM)算法在1970年被引入,但由于其模糊的符号,简洁的证明以及缺乏与现代机器学习技术(如自动编码变分贝叶斯)的具体联系,机器学习从业者仍然无法访问。这导致了人工智能文献中关于“潜变量”和“变分下界”等概念的含义的空白,这些概念经常使用,但往往没有明确解释。这些思想的根源在于期望最大化算法。我们首先给出了一个教程介绍的期望最大化算法估计参数的$K$组件的混合物密度。高斯混合的情况下,详细介绍了使用$K$元标量隐藏(或潜在)变量,而不是更传统的二进制值$K$维向量。本文的动机是从目标跟踪文献的混合建模。在一个类似的风格,主教的2009年的书,我们提出变分贝叶斯推断作为一个广义的期望最大化算法源于变分(或证据)下界,以及平均场近似(或产品密度变换)的技术。我们继续从EM发展到由Kingma & Welling于2014年开发的变分自动编码器。这样,我们就在期望最大化算法和它的变分算法之间建立了明确的联系,从而澄清了“潜变量”的含义。“我们提供了一个详细的报道“reparametrisation技巧”,并专注于如何AEVB不同于传统的变分贝叶斯推断。在整个教程中,使用一致的符号约定。这统一了叙述,澄清了概念。最后给出了一些数值例子来进一步说明算法。
2021-05-04 cs.LG stat.ML
Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior
National University of Singapore(新加坡国立大学);Indian Institute of Technology Jodhpur(焦特布尔印度理工学院)
本文提出基于高斯混合的向量量化框架GM-VQ,利用隐变量均值与自适应方差捕获复杂数据分布,避免VQ-VAE的启发式假设,并引入ALBO优化目标,有效提升码本利用率并减少信息损失。
2024-10-14 cs.LG stat.ML
Interpretable Embeddings From Molecular Simulations Using Gaussian Mixture Variational Autoencoders
Max Planck Institute for Polymer Research(马克斯·普朗克聚合物研究所);Koc University(科奇大学)
从分子模拟产生的大量数据中提取洞察力需要识别少量的集体变量,其相应的低维自由能景观保留了底层系统的基本特征。数据驱动技术提供了一个系统的路线来构建这一景观,而不需要对相关驱动力进行广泛的先验直觉。特别是,自动编码器是降维的强大工具,因为它们自然会造成信息瓶颈,从而实现基本特征的低维嵌入。虽然变分自编码器通过假设单峰高斯先验来确保嵌入的连续性,但这与通常由有意义的集体变量的识别产生的多流域自由能景观不一致。在这项工作中,我们采用高斯混合变分自动编码器(GMVAE),鼓励嵌入内的亚稳态的分离,将这种物理直觉到先验。GMVAE在一个统一的框架内执行降维和聚类,并且能够根据对数据进行分类所需的高斯数来识别输入数据的固有维度。我们说明了我们的方法上的两个玩具模型,丙氨酸二肽,和一个具有挑战性的无序肽系综,证明了增强的聚类效果的GMVAE之前相比,标准的VAE。由此产生的嵌入似乎是有前途的表示,用于构建马尔可夫状态模型,突出的可转移性的降维从静力平衡性能的动态。
2019-12-22 cs.LG physics.chem-ph stat.ML
Bridging the inference gap in Mutimodal Variational Autoencoders
Inria Paris(法国国家信息与自动化研究所巴黎分部);Inserm(法国国家健康与医学研究院)
本文提出一种无需专家混合聚合的多模态变分自编码器,通过多阶段训练结合变分推断与归一化流,并利用模态间共享信息提升条件生成质量,在多个基准上达到最优性能。
2025-02-06 cs.LG stat.ML
eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions
提出X-VAE框架,用预训练自编码器潜在表示的均值和标准差作为数据自适应高斯先验,替代标准正态先验,并引入潜在缩放因子控制采样方差,平衡生成多样性与保真度。
2026-07-03 cs.LG stat.ML
Learning Correlated Latent Representations with Adaptive Priors
Columbia University(哥伦比亚大学);Netflix Inc.(奈飞公司);The University of Texas at Dallas(得克萨斯大学达拉斯分校);Spotify Inc.(声田公司)
变分自动编码器(VAE)已被广泛应用于学习高维数据的紧凑,低维的潜在表示。当数据点之间的相关性结构可用时,以前的工作提出了相关变分自动编码器(CVAE),它采用结构化混合模型作为先验,并为每个混合成分采用结构化变分后验,以强制学习的潜在表示遵循相同的相关性结构。然而,正如我们在这项工作中所证明的那样,这样的选择不能保证CVAE捕获所有的相关性。此外,它阻止我们获得一个易于处理的联合和边际变分分布。为了解决这些问题,我们提出了自适应相关变分自动编码器(ACVAE),它应用了一个自适应先验分布,可以在训练过程中进行调整,并可以学习一个易于处理的联合变分分布。其易于处理的形式还可以通过置信传播进行进一步细化。链接预测和层次聚类的实验结果表明,ACVAE显着优于其他基准之间的CVAE。
2019-12-18 cs.LG stat.ML
Variational Elliptical Processes
RISE Research Institutes of Sweden(瑞典RISE研究机构);Uppsala University(乌普萨拉大学);Ericsson Research(爱立信研究部)
本文提出 elliptical processes,一种包含 Gaussian 和 Student's t processes 的非参数概率模型,通过 spline normalizing flow 和变分推断实现,适用于大规模问题并在回归和分类中展现优势。
2023-11-21 cs.LG stat.ML
Deep Clustering of Compressed Variational Embeddings
Duke University(杜克大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
出于对有限的通信带宽和低功耗的需求不断增长,我们提出了一种新的方法,命名为联合变分自动编码器与伯努利混合模型(VAB),在压缩数据域进行聚类。其思想是通过变分自编码器(VAE)降低数据维度,并通过伯努利混合模型(BAE)对数据表示进行分组。一旦针对压缩和聚类进行了联合训练,模型就可以分解为两个部分:将原始数据编码为压缩数据的数据供应商,以及对接收到的(压缩)数据进行分类的数据消费者。通过这种方式,数据供应商受益于数据安全性和通信带宽,而数据消费者受益于低计算复杂性。为了使用梯度下降算法进行训练,我们建议使用Gumbel-Softmax分布来解决在评估分类样本时反向传播算法的不可行性。
2019-10-23 cs.LG eess.IV stat.ML
Improving VAE generations of multimodal data through data-dependent conditional priors
University of Geneva(日内瓦大学)
变分自编码器的主要缺点之一是不能从源自混合分布的数据的各个模态产生代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。我们提出了一种新的配方的变分自编码器,条件先验VAE(CP-VAE),它学会区分各个混合成分,因此允许从分布式数据集群的世代。我们假设一个两级的生成过程,连续(高斯)的潜变量采样条件上的离散(分类)的潜在成分。新的变分目标自然地耦合后验和先验条件的学习,以及以无监督方式编码原始数据的多模态的潜在类别的学习。然后,当从对应于原始数据的多模态结构的各个混合成分生成新样本时,数据相关的条件先验被用于对连续潜码进行采样。我们的实验结果说明了我们的新模型与多个基线相比的生成性能。
2019-11-25 cs.LG stat.ML
Dispersed Exponential Family Mixture VAEs for Interpretable Text Generation
ByteDance AI lab(字节跳动人工智能实验室)
深度生成模型通常用于生成图像和文本。这些模型的可解释性是一个重要的追求,而不是生成质量。以高斯分布为先验的变分自动编码器(VAE)已成功地应用于文本生成,但其潜在变量的含义难以解释。为了增强可控制性和可解释性,可以用混合高斯分布(GM-VAE)代替高斯先验,其混合分量可以与数据的隐藏语义方面相关。在本文中,我们推广的做法,并介绍了DEM-VAE,一类模型的文本生成VAE具有混合分布的指数族。不幸的是,标准的变分训练算法由于模式崩溃问题而失败。我们从理论上找出了问题的根源,并提出了一个有效的算法来训练DEM-VAE。我们的方法通过额外的分散项来惩罚训练,以诱导结构良好的潜在空间。实验结果表明,我们的方法确实获得了一个有意义的空间,它优于强基线的文本生成基准。该代码可在https://github.com/wenxianxian/demvae上获得。
2020-08-21 cs.CL cs.LG stat.ML
VAE with a VampPrior
University of Amsterdam(阿姆斯特丹大学)
过去已经介绍了许多不同的方法来训练深度生成模型。在本文中,我们提出了扩展变分自动编码器(VAE)框架与一种新的类型的先验,我们称之为“变分混合后验”先验,或简称VampPrior。VampPrior由混合分布(例如,高斯的混合),其中分量由以可学习的伪输入为条件的变分后验给出。我们进一步扩展了这之前的两层分层模型,并表明这种架构与耦合的先验和后验,学习显着更好的模型。该模型还避免了与困扰VAE的无用潜在维度相关的常见局部最优问题。我们提供了六个数据集的实证研究,即静态和二进制MNIST,OMNIGLOT,加州理工学院101剪影,Frey Faces和Historology patches,并表明应用分层VampPrior在无监督排列不变设置中的所有数据集上提供了最先进的结果,并且最好的结果或与SOTA方法相当的卷积网络方法。
2018-02-26 cs.AI cs.LG stat.ML
Overlapping Mixtures of Gaussian Processes for the Data Association Problem
University of Cantabria(坎塔布里亚大学);University of Sheffield(谢菲尔德大学)
在这项工作中,我们引入了混合的GP来解决数据关联问题,即根据产生它们的源来标记一组观察。与先前提出的几种GP混合物不同,新的混合物具有不使用门控函数来确定样品和混合物组分之间的关联的明显特征。相反,混合物中的所有GP都是全局的,并且样本在输入空间中遵循“轨迹”进行聚类。我们使用非标准的变分贝叶斯算法来有效地恢复样本标签和学习超参数。我们展示了如何多目标跟踪问题可以消除歧义,也探讨了在传统的回归设置模型的特点。
2011-08-16 cs.AI cs.LG stat.ML
Variational Dynamic Mixtures
Bosch Center for AI(博世人工智能中心);UC Irvine(加州大学欧文分校)
深度概率时间序列预测模型已经成为机器学习的一个组成部分。虽然已经提出了几个强大的生成模型,我们提供的证据表明,其相关的推理模型往往过于有限,并导致生成模型预测模式平均动态。模态平均化是有问题的,因为许多真实世界序列是高度多模态的,并且它们的平均动态是非物理的(例如,预测的出租车轨迹可能穿过街道地图上的建筑物)。为了更好地捕捉多模态,我们开发了变分动态混合(VDM):一个新的变分家庭推断序列潜变量。在每个时间步的VDM近似后验是一个混合密度网络,其参数来自通过递归结构传播多个样本。这导致表达性多模态后验近似。在一项实证研究中,我们表明,VDM在不同领域的高度多模态数据集上优于竞争方法。
2020-12-04 cs.LG
Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification
Cornell University(康奈尔大学)
多标签分类(MLC)是一种预测任务,其中每个样本可以有多个标签。提出了一种基于高斯混合变分自编码器(C-GMVAE)的对比学习增强多标签预测模型,该模型学习多模态先验空间并采用对比损失。除了预测模块之外,许多现有方法还引入额外复杂的神经模块,如图神经网络,以捕获标签相关性。我们发现,通过在监督环境中使用对比学习,我们可以以数据驱动的方式有效地利用标签信息,并学习有意义的特征和标签嵌入,从而捕获标签相关性并提高预测能力。我们的方法还采用了学习和对齐特征和标签的潜在空间的思想。与以前基于单峰先验的工作相比,C-GMVAE在潜在空间上施加高斯混合结构,以减轻后验崩溃和过度正则化问题。C-GMVAE在多个公共数据集上的性能优于现有方法,并且通常可以仅用50%的训练数据来匹配其他模型的全部性能。此外,我们表明,学习嵌入提供了深入了解标签标签相互作用的解释。
2022-06-10 cs.LG
Clustering of non-Gaussian data by variational Bayes for normal inverse Gaussian mixture models
Kogakuin University of Technology and Engineering(工学院大学)
有限混合模型,通常是高斯混合,是众所周知的,并广泛用作基于模型的聚类。在实际情况中,有许多非高斯数据是重尾和/或不对称的。正态逆高斯分布是正态方差均值,其混合密度是逆高斯分布,可以用于半尾和非对称性。对于NIG混合模型,期望最大化方法和变分贝叶斯(VB)算法已经被提出。然而,现有的VB算法对NIG混合物的混合密度的形状是有限的缺点。在本文中,我们提出了另一种VB算法的NIG混合,改进的缺点。我们还提出了一个扩展的Dirichlet过程混合模型,以克服在有限混合模型中确定集群的数量的困难。我们用人工数据评估了性能,发现它优于高斯混合和现有的NIG混合实现,特别是对于高度非规范的数据。
2020-09-13 cs.LG stat.ML
Sequential Function-Space Variational Inference via Gaussian Mixture Approximation
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出基于高斯混合变分分布的序列函数空间变分推断方法,以更好地近似神经网络多模态后验,实验表明其在持续学习最终平均准确率上优于其他序列变分推断方法。
2025-05-27 cs.LG stat.ML
Natural Gradient Variational Inference with Gaussian Mixture Models
University of Toronto(多伦多大学);Vector Institute(向量研究院)
贝叶斯方法通过使用后验分布来估计不确定性的度量。这些方法的困难之一是归一化常数的计算。计算精确的后验通常是困难的,我们通常近似它。变分推理(VI)方法近似后验的分布通常是从一个简单的家庭使用优化。这项工作的主要贡献是描述了一组更新规则的自然梯度变分推理的混合高斯,它可以独立运行的每个混合组件,潜在的并行。
2021-11-15 cs.LG cs.NA math.NA
Variational Gaussian Mixture Manifold Models for Client-Specific Federated Personalization
University of Texas at El Paso(德克萨斯理工大学);Southern Illinois University Carbondale(南方伊利诺伊大学卡罗尔代尔分校)
针对标签偏斜问题,提出VGM$^2$框架,通过学习客户端特定的UMAP嵌入并仅交换不确定性感知的标记统计量,在保护隐私的同时实现了优异的个性化联邦学习性能。
2025-09-04 cs.LG
Variational Learning for the Inverted Beta-Liouville Mixture Model and Its Application to Text Categorization
Hezhou University(贺州学院);North China University of Technology(北方工业大学);DigApis Information Security Technology Co., Ltd.(江苏迪格艾普斯信息安全技术有限公司);Jiangsu University(江苏大学);Beijing University of Posts and Telecommunications(北京邮电大学)
有限逆Beta-Liouville混合模型(IBLMM)最近由于其正数据建模能力而获得了一些关注。在传统的变分推理(VI)框架下,分析上容易处理的解决方案的变分后验分布的优化不能得到,因为变分目标函数涉及评价的难处理的时刻。在最近提出的扩展变分推理框架下,提出了一种新的变分目标函数来代替原变分目标函数,以避免难以处理的矩计算,从而使IBLMM的解析解能够以一种优雅的方式导出.实验表明,所提出的方法具有良好的性能与合成数据和现实世界的应用程序,即文本分类。
2021-12-29 cs.CL cs.LG
Variational Mixture of Graph Neural Experts for Alzheimer's Disease Recognition across Frequency Bands in EEG Brain Networks
Department of Industrial and Systems Engineering, Rutgers University(鲁特大学工业与系统工程系);Department of Psychiatry and Behavioral Sciences, University of Minnesota(明尼苏达大学精神病学与行为科学系);Institute of Brain Science, College of Medicine, National Yang-Ming Chiao Tung University(国家阳明交通大学医学院脑科学研究所)
针对痴呆症脑电图诊断难题,提出VMoGE框架,结合多频段脑电图分析、变分图神经网络和专家混合架构。实验显示其性能强大,还具有临床转化价值,能关联疾病指标、揭示频段变化,为痴呆症诊断提供新方法和依据。
2026-08-13 cs.LG
Improved Variational Bayesian Phylogenetic Inference using Mixtures
KTH Royal Institute of Technology(KTH皇家理工学院);Science for Life Laboratory(生命科学实验室)
针对现有VBPI框架难以处理树拓扑后验多模态的问题,提出结合BBVI领域混合学习进展的VBPI-Mixtures算法,可建模VBPI无法捕捉的树拓扑分布,在多个真实系统发育数据集密度估计任务上达SOTA。
2023-10-02 cs.LG stat.ML
Adaptive Exponential Integration for Stable Gaussian Mixture Black-Box Variational Inference
School of Mathematical Sciences, Peking University, Beijing, China(北京大学数学科学学院);Department of Mathematics, University of California, Los Angeles, CA, USA(加州大学洛杉矶分校数学系);Beijing International Center for Mathematical Research, Center for Machine Learning Research, Peking University, Beijing, China(北京国际数学研究中心,机器学习研究中心,北京大学,北京,中国)
针对高斯混合黑箱变分推断的不稳定和低效问题,提出结合仿射不变预处理、无条件保持协方差正定性的指数积分器和自适应时间步长的稳定高效框架,并证明其收敛性。
2026-05-28 cs.LG
A Mixture Autoregressive Image Generative Model on Quadtree Regions for Gaussian Noise Removal via Variational Bayes and Gradient Methods
Gunma University(群马大学);Waseda University(早稻田大学)
本文提出一种结合四叉树区域划分模型与混合自回归模型的图像生成模型,通过变分下界最大化实现图像去噪,采用变分贝叶斯与梯度方法交替优化,推导出解析的梯度更新规则,验证了去噪效果及未来改进方向。
2026-08-25 cs.CV cs.LG
Variational Inference with Mixtures of Isotropic Gaussians
CREST, ENSAE Institut Polytechnique de Paris(CREST,ENSAE巴黎理工学院);INRIA, Ecole Normale Supérieure DGA, French Procurement Agency(INRIA,高等师范学校,法国采购局)
针对变分推断任务,本文提出基于权重均匀的各向同性高斯混合的变分框架与高效算法,兼顾多模态后验近似精度与计算、内存效率,并通过数值实验验证了算法性能。
2025-11-17 cs.LG stat.ML
Heterogeneous Variational Inference for Markov Degradation Hazard Models: Discretized Mixture with Interpretable Clusters
Digital Business Department, Yachiyo Engineering Co., Ltd.(大崎工程有限公司数字商务部)
本文提出一种结合精细状态离散化、特征工程和可解释模型选择的框架,用于解决马尔可夫退化危险模型中的关键瓶颈问题,验证了变分推断在稳定性、收敛性和计算效率上的优势。
2026-04-27 cs.LG
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies(华为技术有限公司);Université Paris-Est(巴黎东大学)
在本文中,我们开发了一个无监督的生成聚类框架,结合了变分信息瓶颈和高斯混合模型。具体来说,在我们的方法中,我们使用变分信息瓶颈方法,并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界,它推广了证据下界(ELBO),并给出了一个变分推理型算法来计算它,在该算法中,编码器的映射使用神经网络进行参数化,该界用Monte Carlo抽样近似,并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Adaptive Heterogeneous Mixtures of Normalising Flows for Robust Variational Inference
School of Computer Science and Informatics(计算机科学与信息学学院)
针对单流变分推断在不同分布上表现不稳定的问题,提出由多种互补流组成的两阶段训练自适应混合模型AMF-VI,在六类标准后验上实现更优的似然与传输度量,以低开销提升了变分推断的鲁棒性。
2025-10-02 cs.LG stat.ML
A Variational Infinite Mixture for Probabilistic Inverse Dynamics Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
控制和机器人应用中的概率回归技术必须满足数据驱动的适应性、计算效率、高维可扩展性以及处理数据中不同模态的能力等不同标准。经典回归通常只满足这些性质的一个子集。在这项工作中,我们扩展了贝叶斯非参数混合物的开创性工作,并推导出一个有效的变分贝叶斯推理技术的概率局部多项式模型的无限混合物,以及校准的确定性量化。我们强调了该模型在结合数据驱动的复杂性自适应,快速预测以及处理不连续函数和异方差噪声的能力方面的能力。我们在一系列大型真实逆动力学数据集上对该技术进行了基准测试,结果表明,无限混合公式与经典的局部学习方法相比具有竞争力,并且通过基于数据调整组件的数量来正则化模型复杂性,而不依赖于算法。此外,为了展示该方法的实用性,我们使用学习模型在线逆动力学控制的Barrett-WAM机械手,显着提高轨迹跟踪性能。
2021-03-30 cs.LG cs.RO
Variational Mixture-of-Experts Autoencoders for Multi-Modal Deep Generative Models
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学)
学习跨越多种数据模态(如视觉和语言)的生成模型通常是出于学习更有用、更可概括的表示的愿望,这些表示忠实地捕捉模态之间的共同基础因素。在这项工作中,我们将成功学习这些模型视为满足四个标准:i)隐式潜在分解为共享和私有子空间,ii)所有模态的连贯联合生成,iii)跨单个模态的连贯交叉生成,以及iv)通过多模态集成改进单个模态的模型学习。在这里,我们提出了一个专家混合的多模态变分自动编码器(MMVAE)来学习不同模态集上的生成模型,包括具有挑战性的图像语言数据集,并证明其能够在定性和定量上满足所有四个标准。
2019-11-08 cs.LG stat.ML
Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations
University of British Columbia(不列颠哥伦比亚大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
自然梯度方法使变分推断的算法快速而简单,但由于计算困难,它们的使用主要限于\emph{minimal}指数族(EF)近似。在本文中,我们将其应用扩展到估计\emph{structured}近似,如混合EF分布。这种近似可以拟合复杂的多峰后验分布,并且通常比单峰EF近似更准确。通过使用这样的近似的\emph{minimal conditional-EF}表示,我们得到简单的自然梯度更新。我们的实证结果表明,我们的自然梯度方法相比,黑盒梯度为基础的方法与重新参数化梯度的收敛速度更快。我们的工作扩大了自然梯度的范围,贝叶斯推断,使他们更广泛的适用于比以前。
2020-11-06 cs.LG stat.ML
Physically Interpretable Representation Learning with Gaussian Mixture Variational AutoEncoder (GM-VAE)
Institute for Computational and Mathematical Engineering, Stanford University(计算与数学工程研究所,斯坦福大学);Department of Mechanical Engineering, Stanford University(机械工程系,斯坦福大学);National Renewable Energy Laboratory(国家可再生能源实验室);Ann and H.J. Smead Department of Aerospace Engineering Sciences, University of Colorado, Boulder(安与H.J.斯迈德航空航天工程科学系,科罗拉多大学,博尔德)
GM-VAE通过结合EM启发式训练和谱可解释性度量,实现对高维科学数据的物理可解释性表示学习,有效提升湍流和反应流动系统的解释能力。
2025-11-26 cs.LG