Mixture Density Network Estimation of Continuous Variable Maximum Likelihood Using Discrete Training Samples
University of Texas(德克萨斯大学);Rutgers University(罗格斯大学)
混合密度网络(MDN)可用于在给定一组可观测量$\mathbf{x}$的情况下生成模型参数$\boldsymbolθ$的概率密度函数。在某些应用中,训练数据仅可用于连续参数$\boldsymbolθ$的离散值。在这种情况下,会出现一些性能限制问题,从而导致有偏差的估计。我们演示了使用MDNs的参数估计,讨论了偏差的起源,并提出了一个纠正方法,为每个问题。
2021-07-20 cs.LG hep-ex physics.data-an
Mixture Representation Learning with Coupled Autoencoders
Allen Institute(艾伦研究所)
在没有监督的情况下,联合识别离散和连续可变因素的混合物是解开复杂现象的关键问题。变分推理已经成为一种很有前途的方法来学习可解释的混合表示。然而,在高维潜在空间,特别是离散因素的后验近似仍然具有挑战性。在这里,我们提出了一个无监督的变分框架,使用多个相互作用的网络称为cpl-mixVAE,可以很好地扩展到高维离散设置。在这个框架中,每个网络的混合表示通过对离散因子施加共识约束来正则化。我们证明使用这个框架提供理论和实验结果。最后,我们使用所提出的方法来共同揭示离散和连续的变异因素,描述基因表达的单细胞转录组数据集分析超过一百种皮层神经元类型。
2021-04-13 cs.LG stat.ML
Learning an arbitrary mixture of two multinomial logits
Columbia University(哥伦比亚大学)
在本文中,我们考虑混合多项式逻辑模型(MNL),这是已知的$ε$-近似任何随机效用模型。尽管它有着悠久的历史和广泛的使用,严格的结果只适用于学习两个MNL的均匀混合。继续这条线的研究,我们研究的问题,学习任意混合的两个MNL。我们证明了混合模型的可辨识性只可能在可忽略测度的代数簇上失效。这是通过将学习两个MNL的混合物的问题简化为求解一元四次方程系统的问题来完成的。我们还设计了一个算法来学习任何混合物的两个MNL使用多项式数量的样本和线性数量的查询,提供了一个混合物的两个MNL在一些有限的宇宙是可识别的。文中还介绍了几个数值试验和计算结果。
2020-09-28 cs.CC cs.LG cs.SC
Deinterleaving of Discrete Renewal Process Mixtures with Application to Electronic Support Measures
Thales DMS France SAS(泰雷兹DMS法国公司)
本文提出一种基于惩罚似然最大化的离散更新马尔可夫链混合去交织方法,利用符号序列与到达时间信息,理论证明大样本下可恢复真实划分,并在合成数据及RESM脉冲序列去交织中验证了其有效性。
2024-11-08 cs.LG
Robustly Learning Mixtures of $k$ Arbitrary Gaussians
CMU(卡内基梅隆大学);UCSD(加州大学圣地亚哥分校);UW Madison(威斯康星大学麦迪逊分校);Georgia Tech(佐治亚理工学院)
我们给出了一个多项式时间算法的鲁棒估计混合物的$k$任意高斯在$\mathbb{R}^d$,对于任何固定的$k$,在存在一个恒定的分数的任意腐败的问题。这解决了主要的开放问题,在算法的鲁棒统计,解决了鲁棒估计(a)一个单一的高斯,(b)一个混合的TV距离分离高斯,(c)一个均匀的混合两个高斯的特殊情况下,在以前的几个作品。我们的主要工具是一个有效的\emph{partial clustering}算法,依赖于平方和的方法,和一个新的\emph{tensor decomposition}算法,允许错误的Frobenius范数和低秩项。
2021-06-07 cs.DS cs.LG math.ST
On the Role of Discrete Representation in Sparse Mixture of Experts
Applied Artificial Intelligence Institute (A2I2)(应用人工智能研究所)
针对 SMoE 路由器的不一致与表示坍塌问题,本文提出基于向量量化离散表示间接分配专家的 VQMoE,并在语言和视觉任务中验证其鲁棒性提升 28%。
2025-07-27 cs.LG
Discrete Sampling using Semigradient-based Product Mixtures
ETH Zurich(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学);MIT(麻省理工学院)
我们考虑离散概率模型中的推理问题,即有限基集子集上的分布。这些包括机器学习中的一系列众所周知的模型,例如决定点过程和伊辛模型。局部移动马尔可夫链蒙特卡罗算法,如吉布斯采样器,通常用于这种模型的推理,但它们的收敛速度有时非常慢。这通常是由状态空间瓶颈引起的,状态空间瓶颈极大地阻碍了这种采样器的移动。我们提出了一种新的抽样策略,使用特定的混合产品分布,提出全球移动,从而加速收敛。此外,我们将展示如何使用半梯度信息构建这样的混合。我们说明了我们的采样器与现有的相结合的有效性,无论是理论上的一个示例模型,以及实际上从现实世界的数据集学习的三个模型。
2018-07-09 cs.LG stat.ML
Estimating Mutual Information for Discrete-Continuous Mixtures
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
从观察到的样本估计互信息是一个基本的原语,在几个机器学习任务中很有用,包括相关性挖掘,信息瓶颈聚类,学习Chow-Liu树和(因果)图形模型中的条件独立性测试。虽然互信息在一般概率空间中是一个定义良好的量,但现有的估计只能处理两种特殊情况:纯离散或纯连续的随机变量对。主要的挑战是,这些方法首先估计X、Y和对(X;Y)的(微分)熵,并将它们与适当的符号相加以获得互信息的估计。这些3 H-估计不能应用于一般的混合空间,其中熵没有很好的定义。在本文中,我们设计了一个新的估计的互信息的离散-连续混合。我们证明了所提出的估计是一致的。我们提供的数值实验表明所提出的估计相比,其他approxistics的小连续噪声添加到所有的样本和应用标准估计量为纯连续变量,量化的样本和应用标准估计量为纯离散变量的优越性。这显著地拓宽了互信息估计在真实世界应用中的适用性,其中一些变量是离散的,一些是连续的,并且其他是连续和离散分量之间的混合。
2018-10-09 cs.IT cs.LG math.IT
Dual Mixture-of-Experts Framework for Discrete-Time Survival Analysis
Lunit Inc.(Lunit公司)
生存分析是一项对感兴趣的事件发生之前的时间进行建模的任务,广泛用于临床和生物医学研究。一个关键的挑战是对患者异质性进行建模,同时还根据个体特征和时间动态调整风险预测。我们提出了一个双混合专家模型(MoE)的离散时间生存分析框架。我们的方法结合了一个功能编码器MoE的子群感知表示学习与危险MoE,利用患者的功能和时间嵌入捕捉时间动态。这种双MoE设计灵活地与现有的基于深度学习的生存管道集成。在METABRIC和GBSG乳腺癌数据集上,我们的方法始终提高了性能,将测试集上的时间依赖性C指数提高到0.04,并在纳入Consurv框架时进一步提高了性能。
2025-10-29 cs.AI cs.LG
Polynomial Learning of Distribution Families
Ohio State University(俄亥俄州立大学)
概率分布的多项式可学习性问题,特别是高斯混合分布,最近在理论计算机科学和机器学习中受到了极大的关注。然而,尽管取得了重大进展,高斯混合分布的多项式可学习性的一般问题仍然是开放的。目前的工作解决的问题多项式学习高斯混合在高维任意固定数量的组件。学习高斯混合的结果依赖于对属于我们所说的低维“多项式族”的分布的分析。这些族的特征在于它们的矩是参数的多项式,并且包括几乎所有常见的概率分布以及它们的混合和乘积。使用工具,从真正的代数几何,我们表明,属于这样一个家庭的任何分布的参数可以在多项式时间和使用多项式数量的样本点。学习多项式族的结果是相当普遍的,是独立的利益。为了估计高维高斯混合分布的参数,我们提供了一个确定性降维算法。这使我们能够将高维混合的学习减少到低维参数估计的多项式数量。将这种减少与多项式族的结果相结合,得到了我们在高维中学习任意高斯混合的结果。
2010-04-27 cs.DS cs.LG
Mix-nets: Factored Mixtures of Gaussians in Bayesian Networks With Mixed Continuous And Discrete Variables
Carnegie Mellon University(卡内基梅隆大学)
最近开发的技术使得从低维连续空间中的数据快速学习精确的概率密度函数成为可能。特别是,混合高斯可以非常快地拟合数据使用加速EM算法,采用多分辨率kd树(摩尔,1999年)。在本文中,我们提出了一种贝叶斯网络,在该网络中,在域的变量的不同子集的高斯低维混合物被组合成一个连贯的联合概率模型在整个域。该网络还能够对离散变量和连续变量之间的复杂依赖关系进行建模,而不需要对连续变量进行离散化。我们提出了有效的启发式算法,从数据中自动学习这些网络,并进行比较实验,说明如何以及这些网络模型真实的科学数据和合成数据。我们还简要讨论了一些可能的改进网络,以及可能的应用。
2013-01-16 cs.AI cs.LG stat.ML
Gaussian mixture models with Wasserstein distance
University College London(伦敦大学学院);ASI Data Science(ASI数据科学);Alan Turing Institute(艾伦·图灵研究所)
具有离散和连续潜变量的生成模型受到许多现实世界数据集结构的高度激励。然而,它们在训练中表现出微妙之处,通常表现在离散的潜在存在中。在本文中,我们证明了当使用Wasserstein自动编码器的最优传输框架时,这种模型更适合训练。我们发现我们的离散潜变量在训练时被模型充分利用,而无需对目标函数进行任何修改或进行显著的微调。我们的模型生成的样本与其他方法相当,而使用相对简单的神经网络,因为离散的潜在变量进行了大量的描述性负担。此外,离散潜伏期提供了对发电的显著控制。
2018-06-12 cs.LG stat.ML
A RAD approach to deep mixture models
Google Brain(谷歌大脑);DeepMind
基于流的模型(如Real NVP)是一种非常强大的密度估计方法。然而,现有的基于流的模型仅限于将连续输入空间上的连续密度转换为连续潜变量上的类似连续分布。这使得它们不太适合建模和表示数据分布中的离散结构,例如类成员关系或离散对称性。为了解决这个困难,我们提出了一个规范化的流架构,它依赖于域分区使用局部可逆函数,并拥有真实和离散值的潜变量。这种真实和离散(RAD)的方法保留了理想的规范化流特性的精确采样,精确的推理,和分析计算的概率,而在同一时间允许同时建模的连续和离散结构的数据分布。
2020-08-26 cs.LG stat.ML
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文研究了多层网络及离散混合分布的最优聚类问题,提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法,实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
Learning Mixtures of Discrete Product Distributions using Spectral Decompositions
Microsoft Research India(微软研究院印度);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究了从样本中学习分布的问题,当底层分布是离散域上的乘积分布的混合时。这个问题是由几个实际应用,如众包,推荐系统,学习布尔函数的动机。现有的解决方案要么严重依赖于混合物中组分的数量是有限的这一事实,要么具有在组分数量上呈指数的样本/时间复杂度。在本文中,我们介绍了一个多项式时间/样本复杂性的方法来学习混合的$r$离散产品分布在$\{1, 2, \dots, \ell\}^n$,一般$\ell$和$r$。我们表明,我们的方法是统计上一致的,并进一步提供有限的样本保证。我们使用的技术,从最近的工作张量分解高阶矩匹配。这些矩匹配方法的关键步骤是构造一个特定的矩阵和一个特定的张量与低秩谱分解。这些张量通常直接从样本中估计。学习离散乘积分布的混合物的主要挑战是这些低秩张量不能直接从样本矩中获得。相反,我们将张量估计问题简化为:$a$)仅使用非对角块元素来估计低秩矩阵;以及$b$)使用少量线性测量来估计张量。利用矩阵完备化的最新发展,我们给出了一种基于交替最小化的方法来估计低秩矩阵,并将张量完备化问题表示为最小二乘问题。
2014-05-17 cs.CC cs.IT cs.LG
Dimension Reduction via Sum-of-Squares and Improved Clustering Algorithms for Non-Spherical Mixtures
MIT University of Washington EPFL(麻省理工学院 华盛顿大学 EPFL)
提出基于平方和方法的降维子程序,实现非球形高斯混合物的高效聚类,显著降低样本和时间的维度依赖。
2026-06-01 cs.DS cs.LG stat.ML
Discrete-Continuous Mixtures in Probabilistic Programming: Generalized Semantics and Inference Algorithms
University of California, Berkeley(加州大学伯克利分校);Arizona State University(亚利桑那州立大学);Vicarious Inc.(维卡里奥公司);Carnegie Mellon University(卡内基梅隆大学)
尽管最近概率程序设计语言(PPL)在人工智能应用中取得了成功,但PPL仅提供有限的随机变量支持,其分布结合了离散和连续元素。我们开发的概念的测量理论贝叶斯网络(MTBN),并使用它来提供更一般的语义PPLs与任意多个随机变量定义在任意测量空间。我们开发了两个新的通用采样算法,可证明是正确的MTBN框架下:字典似然加权(LLW)一般MTBN和字典粒子滤波器(LPF),一个专门的算法状态空间模型。我们进一步集成MTBN到一个广泛使用的PPL系统,博客,并通过代表性的例子验证新的推理算法的有效性。
2018-06-08 cs.AI cs.LG cs.PL
Unsupervised Detection and Tracking of Arbitrary Objects with Dependent Dirichlet Process Mixtures
Columbia University(哥伦比亚大学)
本文提出了一种视频中任意目标的无监督检测和跟踪技术。它旨在减少对针对特定对象类型的检测和定位方法的需求,并作为适用于具有不同对象,背景和图像质量的视频的通用框架。该技术使用了一个依赖的Dirichlet过程混合(DDPM)被称为广义波利亚瓮(GPUDDPM)模型图像像素数据,可以很容易地和有效地从视频中的区域,代表对象提取。本文描述了一个具体的实现模型使用的空间和彩色像素数据通过帧间差分提取,并给出了两个算法进行推理的模型来完成检测和跟踪。该技术在多个合成和基准视频数据集上进行了演示,这些数据集说明了其无需修改即可检测和跟踪在非均匀背景上移动并通过遮挡的具有不同物理特性的对象的能力。
2012-10-11 cs.CV cs.LG stat.ML
MixAR: Mixture Autoregressive Image Generation
Tsinghua University(清华大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(Mohamed bin Zayed人工智能大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Carnegie Mellon University(卡内基梅隆大学)
针对离散AR图像生成保真度受限、连续AR建模难度高的问题,提出MixAR混合自回归框架,设计多种离散-连续混合策略与TI-Mix机制,平衡效率与保真度并实现训练推理分布一致。
2025-11-15 cs.CV cs.LG
Identification of Mixtures of Discrete Product Distributions in Near-Optimal Sample and Time Complexity
California Institute of Technology(加州理工学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对 $k$ 个离散乘积分布混合的识别问题,本文结合稳健张量分解与 Hadamard 扩展矩阵条件数新界,在 $n\geq2k-1$ 时达到 $(1/ζ)^{O(k)}$ 的近优样本与时间复杂度。
2023-09-25 cs.DS cs.LG eess.SP
Robust Learning of Mixtures of Gaussians
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
我们解决了稳健统计中的一个主要突出问题。特别地,如果$X$是两个任意$d$ -维高斯的均匀加权混合,我们设计了一个多项式时间算法,该算法给定对来自$X$的样本的访问,其中$\eps$ -分数已经被逆向破坏,学习$X$以在总变化距离中误差$\poly(\eps)$。
2020-07-12 cs.DS cs.LG math.ST
Learning Balanced Mixtures of Discrete Distributions with Small Sample
Carnegie Mellon University(卡内基梅隆大学)
我们研究了一个小样本的$n$个人的划分问题,从混合的$k$产品分布在一个布尔立方体$\{0, 1\}^K$根据他们的分布。每个分布由$\R^K$中的等位基因频率向量描述。给定两个分布,我们使用$γ$来表示$K$维度上频率的平均$\ell_2^2$距离,该距离测量它们之间的统计差异。我们研究的情况下,假设位是独立分布在$K$尺寸。这项工作表明,对于$k = 2$的平衡输入实例,某个基于图的优化函数以高概率返回正确的分区,其中在$n$个体上形成加权图$G$,其对应位向量之间的成对汉明距离定义边缘权重,只要$K = Ω(\ln n/γ)$和$Kn = \tildeΩ(\ln n/γ^2)$。该函数计算$G$的最大权重平衡切割,其中切割的权重是切割中所有边的权重之和。这个结果展示了高维特征空间中的一个很好的特性:人们可以权衡样本大小所需的特征数量,以完成某些任务,如聚类。
2008-02-10 cs.LG stat.ML
Gaussian Latent Dirichlet Allocation for Discrete Human State Discovery
University of Texas, Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校)
在这篇文章中,我们提出并验证了一个无监督的概率模型,高斯潜在狄利克雷分配(GLDA),从多个,本质上不同的,个人收集的重复,多变量的心理生理样本的离散状态发现的问题。心理学和医学研究大量涉及测量潜在相关的,但个别不确定的变量从一组参与者得出诊断,需要聚类分析。传统的概率聚类模型,如高斯混合模型(GMM)假设的成分分布的全局混合,这可能是不现实的观察来自不同的患者。GLDA模型借鉴了自然语言处理中流行的主题模型潜在狄利克雷分配(LDA)中的个体特定混合结构,并将其与GMM的高斯分量分布相融合,以适应连续类型的数据。我们使用STAN(一种概率建模语言)实现了GLDA,并将其应用于两个数据集,一个包含生态瞬时评估(EMA),另一个来自心电图和心阻抗图的心脏测量。我们发现,在这两个数据集中,GLDA学习的类权重与临床评估的抑郁,焦虑和压力评分的相关性显著高于基线GMM产生的相关性。我们的研究结果表明,GLDA在从重复的多变量数据中发现人类状态方面优于传统的有限混合模型,这可能是由于更好地表征了潜在的潜在参与者之间的差异。未来的工作需要验证该模型在更广泛的应用中的效用。
2022-06-28 cs.LG
Tight bounds for learning a mixture of two gaussians
IBM Research Almaden(IBM阿尔马登研究中心);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑从一个独立的随机样本序列中识别两个任意$d$维高斯的未知混合模型的参数的问题。我们的主要结果是上界和下界,给出了一个计算效率高的基于矩的估计,具有最佳收敛速度,从而解决了Pearson(1894)提出的一个问题。由$σ^2$的未知混合物的方差表示,我们证明了$Θ(σ^{12})$样本是必要的和足够的估计每个参数恒定的附加误差时,$d=1.$我们的上限扩展到任意尺寸$d>1$的对数损失在$d$使用一种新的-但简单的--降维技术。我们进一步确定了几个有趣的特殊情况下,样本的复杂性是显着小于我们的最佳最坏情况下的界限。例如,如果两个分量的均值由$Ω(σ)$分离,则样本复杂度降低到$O(σ^2)$,并且这又是最优的。我们的研究结果也适用于学习混合物的每个组成部分,总变化距离的小误差,我们的算法在样本复杂性方面比以前的工作有很大的改进。我们还扩展了我们的下限$k$高斯的混合物,表明$Ω(σ^{6k-2})$样本是必要的,以估计每个参数恒定的附加误差。
2015-05-17 cs.DS cs.LG stat.ML
ULTRA-MC: A Unified Approach to Learning Mixtures of Markov Chains via Hitting Times
Boston University(波士顿大学)
本文提出ULTRA-MC,一种基于命中时间的统一方法,用于学习离散与连续时间马尔可夫链的混合,设计了抗噪重构算法与高效梯度下降,并在合成及真实数据上验证了其有效性。
2024-05-23 cs.LG
Bespoke Neural Networks for Score-Informed Source Separation
Northwestern University(西北大学)
在本文中,我们介绍了一种简单的方法,可以从音频混合分离任意乐器。给定来自输入混合物的目标乐器的未对齐的MIDI转录,我们从MIDI转录合成听起来与待分离的混合物相似的新混合物。这使我们可以创建一个带标签的训练集,以针对特定的定制任务对网络进行训练。当这个模型应用于原始混合物时,我们证明了这种方法可以:1)成功地分离出所需的仪器,只访问未对齐的数据,2)分离任意仪器,3)在现有方法的一小部分时间内得到结果。我们鼓励读者收听这里发布的演示:https://git.io/JUu5q。
2020-09-29 cs.LG cs.SD eess.AS
Controlling for discrete unmeasured confounding in nonlinear causal models
California Institute of Technology(加州理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对非实验数据中未测量离散混杂的因果识别难题,本文拓展深度潜变量模型可识别性结果,提出基于流的去混杂算法,理论与实验均验证了方法的有效性。
2024-08-10 cs.LG stat.ME
The Unreasonable Effectiveness of Discrete-Time Gaussian Process Mixtures for Robot Policy Learning
Department of Computer Science, University of Freiburg, Germany(弗赖堡大学计算机科学系)
提出MiDiGap方法,利用少量演示和相机观测,通过离散时间高斯过程混合实现机器人操作策略的灵活表示与模仿学习,在长时域、高约束、动态和多模态任务上取得SOTA性能,并支持推理时引导。
2026-06-11 cs.AI cs.LG cs.RO
Arbitrary Discrete Sequence Anomaly Detection with Zero Boundary LSTM
Rensselaer Polytechnic Institute(伦斯勒理工学院);Bloomberg(彭博)
我们提出了一个简单的数学定义和新的神经结构,发现离散序列数据集内的异常。我们的模型包括一个修改的LSTM自动编码器和一个One-Class SVM数组。LSTM从序列中获取元素,并创建上下文向量,用于预测下一个元素的概率分布。然后,这些上下文向量用于训练一个单类SVM阵列。这些支持向量机用于确定上下文空间中的离群值边界。我们表明,我们的方法始终更稳定,并且在两个生成的数据集上优于标准LSTM和滑动窗口异常检测系统。
2018-03-06 cs.LG
Linear Time Clustering for High Dimensional Mixtures of Gaussian Clouds
Bell Laboratories, Nokia(诺基亚贝尔实验室)
混合高斯分布的聚类是一个基本的和具有挑战性的问题,是普遍存在于各种高维数据处理任务。虽然关于学习高斯混合模型的最新工作主要集中在改进分离边界及其对任意类混合模型的推广上,但对所提出的解决方案的实际计算效率的重视程度较低。在本文中,我们提出了一种新的和高效的聚类算法的$n$点从混合的两个任意高斯分布$\mathbb{R}^p$。该算法涉及执行随机1维投影,直到找到产生用户指定的聚类误差$e$的方向。对于一个1维分离参数$γ$满足$γ=Q^{-1}(e)$,这种预测的预期数量被证明是有界的$o(\ln p)$,当$γ$满足$γ\leq c\sqrt{\ln{\ln{p}}}$,与$c$作为分离参数的两个高斯在$\mathbb{R}^p$。因此,在$o(\ln{p})O(np)$下,该算法的预期总运行时间在$n$中是线性的,在$p$中是准线性的,并且样本复杂度与$p$无关。该结果与先前的工作形成对比,先前的工作在$p$和$n$中提供多项式,最好是二次的运行时间。我们表明,我们的1维投影的预期数量的范围扩展到三个或更多的高斯分量的情况下,我们提出了一个概括我们的结果混合分布超出高斯模型。
2018-03-01 cs.LG
Flex-MoE: Modeling Arbitrary Modality Combination via the Flexible Mixture-of-Experts
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Pennsylvania(宾夕法尼亚大学);University of Science and Technology of China(中国科学技术大学)
针对现有多模态框架难以适配任意模态缺失组合的问题,提出Flex-MoE框架,通过缺失模态库和含双路由器的稀疏MoE结构实现任意模态组合建模,在ADNI和MIMIC-IV数据集上验证了有效性。
2024-10-31 cs.AI cs.LG
Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior
National University of Singapore(新加坡国立大学);Indian Institute of Technology Jodhpur(焦特布尔印度理工学院)
本文提出基于高斯混合的向量量化框架GM-VQ,利用隐变量均值与自适应方差捕获复杂数据分布,避免VQ-VAE的启发式假设,并引入ALBO优化目标,有效提升码本利用率并减少信息损失。
2024-10-14 cs.LG stat.ML
Symbolic Density Estimation for Discrete Distributions
Rice University(里士大学)
提出符号密度估计(SDE)框架,通过组合基本解析操作自动恢复离散分布的闭式概率质量函数,并扩展至零膨胀和有限混合等分布族,在基准数据集上准确恢复所有分布族,实际应用中识别出简洁可解释的混合模型。
2026-05-20 cs.LG stat.ME stat.ML
Kernel Topic Models
Cavendish Laboratory(卡文迪什实验室);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Research(微软研究院)
潜在狄利克雷分配模型离散数据作为离散分布的混合,使用混合权重的狄利克雷信念。我们研究了这个概念的一个变体,其中文档的混合权重信念被替换为压缩的高斯分布。这允许文档与希尔伯特空间的元素相关联,允许内核主题模型(KTM),对文档之间的时间、空间、层次、社交及其他结构进行建模。主要的挑战是有效的近似推理的潜在高斯。我们提出了一个近似算法铸造周围的拉普拉斯近似变换的基础上。KTM还可以被解释为一种高斯过程潜变量模型,或者以文档特征为条件的主题模型,揭示这些领域早期工作之间的联系。
2011-10-21 cs.LG stat.ML
Stagewise Learning for Sparse Clustering of Discretely-Valued Data
EM在学习乘积分布的混合物时的性能通常取决于初始化。这在众包和其他应用中可能是有问题的,例如,当少量的“专家”被大量嘈杂的、不可靠的参与者稀释时。我们开发了一个新的期望最大化算法,是由这些专家。与其他方法不同的是,我们从一个单一的混合类开始。然后,该算法开发的一组“专家”在一个阶段的方式的基础上的互信息标准。在每个阶段,EM都对参与者的这个子集进行操作,有效地规范了E而不是M步骤。实验表明,分阶段EM优于众包和神经科学应用的其他初始化技术,并可以引导一个完整的EM获得的结果与那些知道确切的分布。
2016-05-28 cs.LG q-bio.QM stat.ML
Fitting A Mixture Distribution to Data: Tutorial
University of Waterloo(滑铁卢大学)
本文是一个逐步教程拟合混合分布的数据。它只是假设读者有微积分和线性代数的背景。在解释主要算法之前,简要回顾其他所需的背景。在解释的主要算法,首先,拟合两个分布的混合物是详细的和拟合两个高斯和泊松的例子,分别为连续和离散的情况下,介绍。此后,解释了在一般情况下拟合几个分布,并再次提供了几个高斯(高斯混合模型)和泊松的例子。基于模型的聚类,作为混合分布的应用之一,也被介绍。为了更好地澄清,高斯和泊松的例子也提供了数值模拟。
2020-10-11 cs.LG stat.ME stat.ML
The statistical Minkowski distances: Closed-form formula for Gaussian Mixture Models
Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室有限公司);Tokyo(东京)
传统的Minkowski距离是由实值向量空间中相应的Minkowski范数导出的。在这项工作中,我们提出了新的统计对称距离的基础上的Minkowski不等式属于Lebesgue空间的概率密度。这些统计Minkowski距离承认封闭形式的公式高斯混合模型时,参数化的整数指数。这个结果扩展到任意混合指数族与自然参数空间是锥:这包括二项式,多项式,零中心拉普拉斯,高斯和Wishart混合,等等。我们还从Minkowski不等式导出了归一化加权概率分布集的Minkowski多样性指数。
2019-01-17 cs.IT cs.LG math.IT