Folded Transport MCMC: Eliminating Label Switching by Sampling on a Fundamental Domain
Wuhan University of Technology(武汉理工大学)
针对对称贝叶斯模型中的冗余多峰性导致MCMC收敛诊断退化的问题,提出Folded Transport MCMC方法,通过在对称群的基本域上构建独立采样器直接对商后验进行推断,并利用LCNF振荡认证框架在商度量下提供可证明的认证下界。
2026-06-19 cs.LG stat.CO stat.ME
ZINBGT: Exploratory Data Analysis of Single-Cell Transcriptomic Expression Using Mixture Models
University of Glasgow(格拉斯哥大学);Bernhard Nocht Institute for Tropical Medicine(Bernhard诺赫热带医学研究所);University of Hamburg(汉堡大学)
本文提出ZINBGT方法,通过混合模型生成可解释的单细胞基因表达可视化,并利用Wasserstein距离识别异常基因,揭示了零膨胀负二项分布在单细胞RNA数据建模中的问题。
2026-04-10 stat.AP
Bayesian estimation of dynamic weights in Gaussian mixture models
本文提出了一种推广的高斯混合模型,其中混合权重被允许表现为一个未知的时间函数。该模型能够成功地捕获数据的特征,如模拟和真实数据集所示。它可以用于聚类、变点和过程控制等研究。为了估计混合权重函数,本文提出了两种新的多项式模型的贝叶斯非线性动态估计方法,该方法可以推广到其他多项式非线性动态模型的估计问题。其中一种方法,这里称为分量Metropolis-Hastings算法,将梅特罗波利斯-黑斯廷斯算法应用于状态方程的每个局部水平分量。它更具有一般性,可用于观测方程和状态方程非线性连接的任何情况。另一种方法往往更快,但专门应用于二进制数据(使用probit链接函数)。这些估计方法的性能,在所提出的动态高斯混合模型的背景下,通过模拟数据集进行评估。此外,一个应用程序的阵列比较基因组杂交(aCGH)数据集从胶质母细胞瘤癌症说明了我们的建议,突出了该方法检测染色体畸变的能力。
2022-09-08 stat.AP stat.ME
Multiple hypothesis screening using mixtures of non-local distributions with applications to genomic studies
大规模数据集的分析,特别是在生物医学背景下,经常涉及多个假设的原则性筛选。著名的两组模型联合建模的检验统计量的分布与两个竞争密度的混合物,零和替代分布。我们调查使用加权密度,特别是,非局部密度作为工作的替代分布,强制分离的空,从而完善筛选程序。我们展示了这些加权的替代品如何改善各种操作特性,如贝叶斯错误发现率,相对于一个本地的,未加权的似然方法的固定混合比例的测试结果。参数和非参数模型规格,提出了有效的采样后验推理。通过模拟研究,我们展示了我们的模型如何与成熟和最先进的替代品在各种操作特性方面进行比较。最后,为了说明我们的方法的多功能性,我们进行了三个差异表达分析与公开可用的数据集从基因组研究的异质性。
2023-03-09 stat.AP stat.ME
Mixture Models and Networks -- Overview of Stochastic Blockmodelling
混合模型是一种概率模型,旨在发现和表示群体中的潜在子群。在网络数据分析领域,节点的潜在子组通常通过其连接行为来识别,其中行为相似的节点属于同一社区。在这种情况下,混合建模是通过随机块建模。我们考虑随机块模型和他们的一些变种和扩展从混合建模的角度来看。我们还调查了一些主要类别的估计方法,并提出了一种替代方法。除了讨论推理特性和估计过程外,我们还重点讨论了模型在几个真实网络数据集上的应用,展示了不同方法的优点和缺陷。
2020-05-26 stat.AP stat.ME
Multichannel Electrophysiological Spike Sorting via Joint Dictionary Learning & Mixture Modeling
我们提出了一种用于动作电位检测和区分(“尖峰分选”)的多个记录期间的多通道细胞外电生理数据的联合特征学习和聚类的构造。我们的建筑主要从四个方面改进了以前的最先进的建筑。首先,通过跨通道共享信息,我们可以更好地区分单个单位尖峰和伪影。其次,我们提出的“聚焦混合模型”(FMM)优雅地处理了在多个记录日出现、消失或再现的单元,这是任何慢性实验的重要考虑因素。第三,通过联合学习特征和聚类,我们比以前通过两阶段(“频率论”)学习过程进行的尝试提高了性能。第四,通过直接建模尖峰率,我们提高了稀疏尖峰神经元的检测。此外,我们的贝叶斯构造无缝地处理缺失数据。我们提出了最先进的性能,而不需要手动调整许多超参数的公共数据集与部分地面真理和一个新的实验数据集。
2013-08-05 q-bio.QM stat.AP
Bayesian outcome-guided multi-view mixture models with applications in molecular precision medicine
聚类通常作为用于揭示组学数据集的结构的初始分析步骤来执行,例如以发现疾病的分子亚型。这些数据集的高通量,高维性质意味着它们提供了关于不同生物分子过程和途径的各种信息。不同的变量组(例如基因或蛋白质)将涉及不同的生物分子过程,因此进行仅限于识别整个数据集的单个聚类分区的分析,因此容易混淆可能由这些不同过程产生的多个聚类结构。为了解决这个问题,我们提出了一个多视图贝叶斯混合模型,识别变量组(“视图”),其中每个定义了一个不同的聚类结构。我们考虑分层医学中的应用,我们的主要目标是识别定义不同的,临床上可操作的疾病亚型的患者群。我们采用半监督,结果引导的混合建模方法的贝叶斯配置文件回归,利用一个响应变量,以指导推理的聚类,最相关的分层医学背景。我们提出的模型,连同说明性的模拟例子,并从泛癌症蛋白质组学的例子。我们演示了如何使用该方法来执行综合聚类,并考虑一个例子,其中不同的组学数据集集成在乳腺癌亚型的背景下。
2023-03-01 stat.AP stat.ME stat.ML
IID Sampling from Posterior Dirichlet Process Mixtures
Dirichlet过程混合的影响在贝叶斯非参数文献中是普遍存在的。但是,尽管出现了各种马尔可夫链蒙特卡罗方法,但从其后验分布中采样仍然是一个挑战。主要的挑战是无限维的设置,即使将无限维的随机测度整合出来,高维性和离散性仍然是难以处理的问题。在这篇文章中,利用Bhattacharya(2021 b)中提出的关键思想,我们提出了一种新的方法来从Dirichlet过程混合的后验中绘制iid实现。我们特别关注Bhattacharya(2008)的更通用和灵活的模型,以便这里开发的方法简单地适用于传统的狄利克雷过程混合物。我们说明了我们的想法,众所周知的酶,酸度和星系数据集,这通常被认为是混合应用程序的基准数据集。在我们的并行实现中,从Bhattacharya(2008)的Dirichlet过程混合后验生成10,000个iid实现,分别需要19分钟、8分钟和5分钟。
2022-06-18 math.ST stat.CO stat.TH
Adversarially Learned Mixture Model
Imagia
逆向学习混合模型(AMM)是一种用于无监督或半监督数据聚类的生成模型。AMM是第一个逆向优化的方法来模拟推断的连续和分类潜变量之间的条件依赖性。MNIST和SVHN数据集上的实验表明,AMM允许复杂数据的语义分离时,很少或根本没有标记的数据。AMM在MNIST数据集上实现了2.86%的最先进的无监督聚类错误率。AMM的半监督扩展在SVHN数据集上产生了有竞争力的结果。
2022-04-23 cs.LG stat.ML
Mixed data Deep Gaussian Mixture Model: A clustering model for mixed datasets
CNRS(法国国家科学研究中心);Centrale Marseille(马赛中央理工学院);Aix-Marseille Univ.(艾克斯-马赛大学);Univ Lyon(里昂大学);UCBL(里昂第一大学);Univ. of Bologna(博洛尼亚大学)
聚类混合数据提出了许多挑战,固有的非常异构的性质的变量。尽管存在这种异质性,聚类算法应该能够从变量中提取有区别的信息,以便设计组。在这项工作中,我们介绍了一种多层架构的基于模型的聚类方法称为混合深度高斯混合模型(MDGMM),可以被视为一种自动的方式来合并分别对连续和非连续数据进行聚类。这种架构是灵活的,可以适应混合以及连续或非连续数据。在这个意义上,我们推广了广义线性潜变量模型和深度高斯混合模型。我们还设计了一个新的初始化策略和一个数据驱动的方法,选择最佳规格的模型和最佳数量的集群为一个给定的数据集“上飞”。此外,我们的模型提供了连续的低维表示的数据,这可以是一个有用的工具,可视化混合数据集。最后,我们验证了我们的方法的性能比较其结果与国家的最先进的混合数据聚类模型在几个常用的数据集。
2021-03-10 cs.LG stat.ML
Bayesian Mixture Models for Histograms: with Applications to Large Datasets
Brigham Young University(杨百翰大学);Pontificia Universidad Católica de Chile(智利天主教 Pontificia 大学);Politecnico di Milano(米兰理工大学);University of Milano-Bicocca(米兰比可卡大学)
提出一种贝叶斯方法,通过拟合混合模型到分箱数据来推断总体分布,使用可逆跳转MCMC进行推断,并扩展至多直方图聚类。
2026-06-24 stat.ME
Parsimonious Mixtures of Skewed Bilinear Factor Analyzers
研究针对聚类偏态随机矩阵的混合模型过参数化问题,提出偏态矩阵变量双线性因子分析器的简约混合模型家族,用AECM算法估计参数,并通过模拟及MNIST和Olivetti人脸数据集考量该方法。
2026-07-17 stat.ME stat.ML
Inferring Hierarchical Mixture Structures: A Bayesian Nonparametric Approach
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学);Maynooth University(梅努斯大学)
本文主要研究数据集的层次非重叠聚类问题。在这样的聚类中,每个数据项与恰好一个叶节点相关联,并且每个内部节点与存储在其下的子树中的所有数据项相关联,使得层次结构的每个级别对应于数据集的分区。提出了一种新的贝叶斯非参数方法,该方法结合了嵌套中餐厅过程(nCRP)和分层狄利克雷过程(HDP)。与其他现有的贝叶斯方法相比,我们的解决方案处理的数据与复杂的潜在的混合特征,以前没有在文献中探索。我们讨论的模型和推理过程的细节。此外,在三个数据集上的实验表明,与现有的算法相比,我们的方法取得了坚实的经验结果。
2021-05-25 cs.AI cs.LG stat.ML
GALILEO: A Generalized Low-Entropy Mixture Model
JHU Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室)
本文提出了一种新的方法来生成具有分类属性的数据的混合模型。这种方法的关键是在分类空间中基于熵的密度度量和从具有许多组件的初始状态退火高熵/低密度组件。使用基于熵的密度对低密度组件进行修剪,使GALILEO能够始终找到高质量的集群和相同的最佳集群数量。GALILEO在一系列通常用于分类聚类基准的测试数据集上显示出了有希望的结果。我们证明了GALILEO的缩放在数据集中的记录数量上是线性的,使得该方法适用于非常大的分类数据集。
2017-08-24 cs.DS cs.LG math.PR
A k-Inflated Negative Binomial Mixture Regression Model: Application to Rate--Making Systems
本文介绍了一种k-膨胀负二项混合分布/回归模型,作为零膨胀泊松分布/回归模型的更灵活的替代。采用期望最大化算法估计模型参数。然后,将该模型与帕累托混合模型相结合,设计了一个最优费率制定系统。也就是说,本文采用了伊朗第三方保险数据集报告的索赔数量/规模。然后,它采用k-膨胀负二项混合分布/回归模型以及其他成熟的计数模型以及帕累托混合模型来模拟伊朗第三方保险数据集中报告的索赔频率/严重程度。这样的数值说明表明:({ \bf 1})在费率制定系统下,k-膨胀负二项混合模型为投保人提供了更公平的费率/纯保费;以及({ \bf 2})在投保人的过去经验中报告的索赔数量均匀分布的情况下(例如$k_1=1$和$k_2=1$而不是$k_1=0$和$k_2=2$)。k-膨胀负二项混合模型下的费率/纯保费更有吸引力且更容易接受。
2017-01-19 stat.ME
Bayesian Variational Inference for Mixed Data Mixture Models
Imperial College London(帝国理工学院)
本文提出了一种针对混合数据混合模型的贝叶斯变分推断算法,以高效处理不确定性量化并减少计算成本。
2026-11-13 stat.ME
EGMM: an Evidential Version of the Gaussian Mixture Model for Clustering
Northwestern Polytechnical University(西北工业大学);Université de Technologie de Compiègne(贡比涅技术大学);Institut Universitaire de France(法国大学研究院)
高斯混合模型(GMM)为聚类提供了一个简单而有原则的框架,具有适合统计推断的属性。在本文中,我们提出了一种新的基于模型的聚类算法,称为EGMM(证据GMM),在理论框架的信念函数,以更好地表征集群成员的不确定性。用一个质量函数来表示每个对象的聚类隶属度,提出了由所需聚类幂集上的分量组成的证据高斯混合分布来建模整个数据集。EGMM中的参数估计由一个专门设计的期望最大化(EM)算法。还提供了允许自动确定簇的适当数目的有效性指数。建议EGMM是简单的经典GMM,但可以产生一个更丰富的证据分区所考虑的数据集。合成数据集和真实数据集的实验结果表明,该EGMM算法的性能优于其他代表性的聚类算法。最后,将其应用于多模态脑图像分割,证明了该方法的优越性。
2022-09-07 cs.LG stat.ML
Mixture-based Multiple Imputation Model for Clinical Data with a Temporal Dimension
Northwestern University(西北大学)
多变量时间序列中的缺失值问题是临床数据采掘等应用中的一个关键挑战。虽然许多插补方法在许多应用中显示了它们的有效性,但它们中的一些被设计用于适应临床多变量时间序列。在这项工作中,我们提出了一个多重插补模型,捕获横截面信息和时间相关性。我们将高斯过程与混合模型相结合,并引入个性化的混合权重来处理高斯过程模型预测置信度的方差。该模型与几个国家的最先进的插补算法在现实世界和合成数据集进行了比较。实验表明,我们的最佳模型可以提供比我们所有数据集上的基准更准确的插补。
2020-03-02 cs.LG stat.ML
Hierarchical Transformed Scale Mixtures for Flexible Modeling of Spatial Extremes on Datasets with Many Locations
灵活的空间模型,允许尾部依赖类之间的过渡最近出现在文献中。然而,这些模型的推断是计算上禁止的,即使在中等尺寸,由于重复评估的多元高斯分布函数的必要性。在这项工作中,我们试图实现真正的高维推理的极端空间过程,同时保留所需的灵活性,在尾部依赖结构,通过修改已建立的一类模型的基础上规模混合高斯过程。我们表明,所需的极值依赖性从原始模型下的修改,并证明相应的贝叶斯分层模型不涉及昂贵的计算的多元高斯分布函数。我们将我们的模型拟合到高阈值的概率,并执行覆盖分析和跨模型检查,以验证其捕获不同类型尾部特征的能力。我们使用标准的自适应Metropolis算法进行模型拟合,并通过并行化和Rcpp进一步加速计算。最后,我们将该模型应用于美国大平原地区的火灾威胁指数数据集,该地区易受大规模破坏性野火的影响。我们发现,联合尾部的火灾威胁指数表现出衰减的依赖结构,不能被捕获的限制极值模型。
2019-12-09 math.ST stat.ME stat.TH
Towards Neural Mixture Recommender for Long Range Dependent User Sequences
Simon Fraser University(西蒙弗雷泽大学);Google(谷歌)
了解时间动态已被证明是非常有价值的准确推荐。顺序排序器已经成功地对用户和项目随时间的动态进行建模。然而,虽然不同的模型架构擅长捕捉各种时间范围或动态,不同的应用程序上下文需要适应不同的行为。在本文中,我们将研究如何建立一个模型,可以利用不同的时间范围和动态依赖于请求上下文。我们首先分析了一个匿名的Youtube数据集,该数据集包含数百万个用户序列。我们量化了这些序列的长期依赖程度,并证明了短期和长期依赖的行为模式共存。然后,我们提出了一个神经多时间范围混合模型(M3)作为一个量身定制的解决方案,以处理短期和长期的依赖关系。我们的方法采用了混合模型,每个模型具有不同的时间范围。这些模型通过一个学习的门控机制进行组合,该机制能够在给定不同上下文信息的情况下应用不同的模型组合。在对公共数据集和我们自己的匿名YouTube数据集的实证评估中,M3始终优于最先进的顺序推荐方法。
2019-02-22 cs.IR cs.LG stat.ML
A Tight Convex Upper Bound on the Likelihood of a Finite Mixture
IBM Research - Haifa(IBM海法研究院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
有限混合模型的似然函数是具有多个局部极大值的非凸函数,并且常用的迭代算法(例如EM)将根据初始条件收敛到不同的解。在本文中,我们问:是否有可能评估我们离全球最大可能性有多远?由于有限混合模型的可能性可以通过将高斯集中在单个数据点并收缩协方差来无限增长,因此我们通过假设各个模型的参数是一个大的离散集合的成员来约束问题(例如,估计两个高斯的混合,其中两个高斯的均值和方差是一百万个可能均值和方差的集合的成员)。对于这种设置,我们表明,一个简单的上限的可能性,可以使用凸优化计算,我们分析的条件下,该界是保证紧。然后,该界限可以用于评估由EM(其中最终结果被投影在离散集合上)或任何其他混合估计算法找到的解的质量。对于任何数据集,我们的方法都允许我们找到一个有限的混合模型,以及一个特定于数据集的界限,该界限关于该混合的可能性与可能性的全局最优值有多远
2016-08-18 cs.LG stat.ML
Learning Mixtures of Plackett-Luce Models from Structured Partial Orders
Rensselaer Polytechnic Institute(伦斯勒理工学院)
混合排序模型已被广泛用于异质偏好。然而,学习混合模型是非常重要的,特别是当数据集由偏序组成时。在这种情况下,模型的参数甚至可能无法识别。在本文中,我们专注于三个流行的结构偏序:排名前$l_1$,$l_2$的方式,选择数据的一个子集的替代品。我们证明了当数据集由排名靠前的$l_1$和$l_2$ -路(或选择数据超过$l_2$替代品)的组合组成时,当$l_1+l_2\le 2k-1$(当没有$l_2$ -路订单时,$l_2$被设置为$1$)时,$k$ Plackett-Luce模型的混合物是不可识别的。我们还证明了在某些组合下,包括排名靠前的$3$,排名靠前的$2$加上$2$的方式,和选择数据超过$4$替代品,两个Plackett-Luce模型的混合物是可识别的。我们的理论结果的指导下,我们提出了有效的广义矩量法(GMM)算法来学习两个Plackett-Luce模型的混合物,这被证明是一致的。我们的实验证明了我们的算法的有效性。此外,我们表明,当完整的排名,从不同的边缘事件(偏序)的学习提供了统计效率和计算效率之间的权衡。
2019-10-25 cs.LG stat.ML
Mixtures of Factor Analyzers with Fundamental Skew Symmetric Distributions
混合因子分析器(MFA)为高维数据集建模提供了一个强大的工具。近年来,MFA的几种推广已经被开发出来,其中因子和/或误差的正态性假设被放松以允许数据中的偏态。然而,由于所采用的组件密度的形式,在大多数这些模型中的因素/误差的分布通常限于建模偏度集中在一个单一的方向。在这里,我们引入了一个更灵活的有限混合因子分析的基础上的类的规模混合的典型基本偏正态分布(SMCFUSN)。这类非常一般的偏态分布可以捕获数据中各种类型的偏态和不对称性。特别是,建议的混合模型的SMCFUSN因子分析仪(SMCFUSNFA)可以同时容纳多个方向的偏度。因此,它将许多常用的模型封装为特殊和/或限制情况,例如某些版本的斜正态和斜t因子分析器以及斜双曲因子分析器的模型。为了说明,我们专注于SMCFUSN分布的类的t-分布成员,导致混合的典型的基本倾斜t-因子分析(CFUSTFA)。参数估计可以通过EM型算法通过极大似然来执行。使用两个真实的数据集证明了所提出的模型的有用性和潜力。
2018-10-26 stat.ME
Schema matching using Gaussian mixture models with Wasserstein distance
University of Warsaw(华沙大学);QED Software(QED软件公司)
高斯混合模型作为一种强大的工具,主要是在聚类问题中,但在特征提取,模式识别,图像分割和一般的机器学习中也有适当的准备。当面临模式匹配问题时,在不同数据块上计算的不同混合模型可以保持关于数据集结构的关键信息。为了测量或比较混合模型的结果,Wasserstein距离可能非常有用,但对于混合分布来说,它并不容易计算。本文导出了高斯混合模型间Wasserstein距离的一种可能的近似,并将其化为线性问题。此外,有关现实世界的数据的应用实例。
2022-03-31 cs.DB cs.LG stat.ML
Fisher Information based Stochastic Gradient Ascent for Online Learning of Dirichlet Process Mixture and Theory
Nanyang Technological University(南洋理工大学)
研究用随机梯度上升近似狄利克雷过程混合后验,先以动量法优化步长,再引入Fisher信息实现自适应步长,实验证明该方法兼顾速度与性能,兼容深度卷积网络特征且可扩展到大型数据集。
2026-07-28 cs.LG stat.ML
A Comparative Study of Gaussian Mixture Model and Radial Basis Function for Voice Recognition
对高斯混合模型(GMM)和径向基函数(RBF)在语音生物特征识别中的应用进行了比较研究。机器学习技术在生物认证和识别问题中的应用已经得到了广泛的认可。在这项研究中,使用期望最大化(EM)算法,在包含10类元音的数据集上训练GMM模型,并使用验证数据集使用该模型来预测适当的类。为了实验的有效性,使用相同的学习和验证数据集,将该模型与两个不同版本的RBF模型的性能进行了比较。结果表明,GMM和标准RBF模型之间的识别精度非常接近,但GMM的性能优于标准RBF不到1%,这两个模型优于文献报道的类似模型。DTREG版本的RBF优于其他两个模型,识别准确率为94.8%。就识别时间而言,标准RBF被发现是三种模型中最快的。
2012-11-12 cs.CV cs.LG stat.ML
Modeling Preferences: A Bayesian Mixture of Finite Mixtures for Rankings and Ratings
排名和评级通常用于表达偏好,但提供不同的补充信息。排名提供有序和无标度比较,但缺乏粒度;评级提供基本和粒度评估,但可能是高度主观或不一致的。由于缺乏原则性的方法,直到最近才联合收集和分析排名和评级。在这项工作中,我们提出了一个灵活的,联合统计模型的排名和评级下的异质偏好:布拉德利-特里-Luce-Binomial(BTL-Binomial)。我们采用贝叶斯混合有限混合物(MFM)的方法来估计异质偏好,了解其固有的不确定性,并作出准确的决定,排名和评级的基础上联合。我们证明了BTL-二项式MFM方法在同行评审和调查数据背景下的真实和模拟数据集上的排名和评级偏好的效率和实用性。
2023-01-23 stat.ME
Topic Modeling via Full Dependence Mixtures
Technion, Israel Institute of Technology(以色列理工学院(Technion, Israel Institute of Technology))
在本文中,我们介绍了一种新的主题建模方法,该方法通过使用数据的紧凑表示和利用GPU架构来扩展到大型数据集。在这种方法中,主题直接从语料库的共现数据中学习。特别是,我们介绍了一种新的混合模型,我们称之为全依赖混合(FDM)模型。FDM在数据的一般生成假设下对二阶矩进行建模。虽然有以前的工作主题建模使用二阶矩,我们开发了一个直接的随机优化过程,一个单一的Kullback Leibler目标拟合FDM。矩方法通常具有迭代不再需要随着语料库的大小而缩放的优点。我们的方法使我们能够利用标准的优化器和GPU的主题建模的问题。特别是,我们评估了两个大的数据集,NeurIPS论文和Twitter语料库,大量的主题的方法,并表明该方法的性能优于或优于标准基准。
2020-03-01 cs.IR cs.LG stat.ML
Asymptotic Bayes risk of semi-supervised multitask learning on Gaussian mixture
GIPSA-lab(GIPSA实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);LIG-lab(LIG实验室)
本文考虑高斯混合模型(GMM)上的半监督多任务学习。使用统计物理学的方法,我们计算的渐近贝叶斯风险的每个任务在大数据集的制度在高维,从中我们分析的任务相似性在学习中的作用和评估的性能增益时,任务一起学习,而不是分开。在监督的情况下,我们得到一个简单的算法,达到贝叶斯最优性能。
2023-03-03 cs.LG stat.ML
Quantum Expectation-Maximization for Gaussian Mixture Models
IRIF(法国国家科学研究中心与巴黎西岱大学联合基础计算机科学研究所);Paris(巴黎西岱大学);QCWare Corp.(QCWare公司);Atos Quantum Lab(源讯量子实验室)
期望最大化(EM)算法是无监督机器学习中的一个基本工具。它经常被用来作为一种有效的方法来解决极大似然(ML)估计问题,特别是对模型的潜在变量。它也是拟合混合模型的首选算法:生成模型将源自$k$不同过程的未标记点表示为来自$k$多变量分布的样本。在这项工作中,我们定义并使用量子版本的EM来拟合高斯混合模型。给定对维度为$d$的$n$向量的数据集的量子访问,我们的算法具有与经典算法类似的收敛性和精度保证,但是运行时间仅在训练集中的元素数量上是多对数的,并且在其他参数上是多项式的-如特征空间的维度和混合物中的分量的数量。我们进一步推广的算法在两个方向。首先,我们展示了如何拟合指数族中概率分布的任何混合模型。然后,我们展示了如何使用该算法来计算混合模型的最大后验(MAP)估计:似然估计问题的贝叶斯方法。我们讨论了该算法在一个数据集上的性能,该数据集预计将被成功地分类,该算法认为,在这些情况下,我们可以在运行时给予强有力的保证。
2020-07-07 cs.DS cs.LG quant-ph
Binomial Mixture Model With U-shape Constraint
在这篇文章中,我们研究了二项混合模型的制度下,二项大小$m$可以相对较大的样本量$n$。该项目的动机是基因钓鱼方法(Liu et al.,2019),其输出是感兴趣的参数和子采样噪声的组合。为了解决输出中的噪声,我们利用输出的密度具有U形的观察,并在U形约束下用二项式混合模型对输出进行建模。我们首先分析了二项混合模型中潜在分布F在各种条件下的估计。有了这些理论上的理解,我们提出了一个简单的方法Ucut来确定U形的截止点,并根据Grenander估计量(Grenander,1956)恢复潜在的分布。已经表明,当$m = Ω(n^{2/3})$时,所识别的截止值以速率$O(n^{-1/3})$收敛。恢复的分布与真实分布之间的$L_1$距离以相同的速率减小。为了证明性能,我们将我们的方法应用于各种模拟研究,GTEX数据集用于(Liu等人,2019)和Tabula Muris的单细胞数据集。
2021-08-23 math.ST stat.ME stat.TH
C-mix: a high dimensional mixture model for censored durations, with applications to genetic data
本文引入了删失持续时间的混合模型(C-mix),并给出了该模型时间分布和潜回归参数的联合估计的极大似然推断。我们考虑一个高维的设置,包含大量的生物医学协变量的数据集。因此,我们通过弹性网络惩罚负对数似然,这导致模型的稀疏参数化。推理是使用一个有效的拟牛顿期望最大化(QNEM)算法,我们提供收敛性。然后,我们通过评估患者早期不良事件的风险来提出评分。该方法的统计性能进行了广泛的蒙特卡罗模拟研究,并最终说明了三个遗传数据集与高维协变量。我们表明,我们的方法优于最先进的,即治愈和考克斯比例风险模型的这项任务,无论是在C指数和AUC(t)。
2017-11-25 stat.ML
Evidence estimation in finite and infinite mixture models and applications
对于有限和无限混合模型,估计模型证据或数据的边际似然性是一项非常困难的任务,我们在这里重新审视了最近文献中提倡的不同Monte Carlo技术,以及基于Geyer(1994)反向逻辑斯谛回归技术,Chib(1995)算法和序贯蒙特卡罗(SMC)的新方法。应用程序很多。特别是,测试有限混合模型中的组分数量或针对给定数据集的有限混合模型的拟合长期以来一直是并且仍然是非常感兴趣的问题,尽管还没有完全令人满意的解决方案。已知使用贝叶斯因子来找到有限混合模型中的正确分量数K提供了一致的过程。此外,我们建立的贝叶斯因子的一致性进行比较时,对非参数的“强可识别的”狄利克雷过程混合(Dirichlet Process Mixture)模型的参数族的有限混合物。
2022-05-11 math.ST stat.CO stat.TH
Differential gene expression analysis via two-component mixture models with a semiparametric skew-normal scale mixture alternative
Pukyong National University(釜庆国立大学);University of Queensland(昆士兰大学)
本文提出一种半参数混合模型,用于微基因表达分析,通过偏正态尺度混合替代处理偏态和厚尾问题,提高分析精度。
2026-03-17 stat.ME
Learning Mixtures of Smooth Product Distributions: Identifiability and Algorithm
University of Minnesota(明尼苏达大学);University of Virginia(弗吉尼亚大学)
研究了非参数乘积分布混合模型的学习问题。学习混合模型的问题是使用从混合物生成的观察样本来找到成分分布以及混合权重。这个问题在参数设置中得到了很好的研究,即,当分量分布是参数族的成员时--例如高斯分布。在这项工作中,我们专注于非参数产品分布的多元混合物,并提出了一个两阶段的方法,恢复平滑条件下的混合物的成分分布。我们的方法建立在张量的典型多元(低秩)分解的可识别性属性的基础上,与来自信号处理的傅立叶和香农-奈奎斯特采样吻合。我们证明了该方法在合成和真实数据集上的有效性。
2019-04-02 cs.LG eess.SP stat.ML
Robust Fitting of Mixture Models using Weighted Complete Estimating Equations
混合模型考虑了数据中潜在的异质性,被广泛用于分类和聚类问题。混合模型可以使用期望最大化算法进行估计,该算法使用基于混合模型的分层表达的聚类分配的潜在隶属度变量所限定的完整估计方程。然而,当混合成分具有轻尾(light tail)(例如正态分布)时,混合模型可能对离群值敏感。提出了一种混合模型稳健拟合的加权完全估计方程(WCE)方法。我们的WCE引入了权重来完成估计方程,使得权重可以自动降低离群值的权重。权重的构造类似于混合模型的密度幂散度,但在我们的WCE中,它们仅取决于组分分布,而不是整个混合。一种新的期望估计方程(ESTA)算法也被开发来解决WCE。为了说明的目的,一个多元高斯混合,专家的混合物,和一个多元的偏正态混合物被认为是,以及如何实现我们的算法可以为这些特定的模型进行了描述。使用模拟和真实数据集检验了所提出的稳健估计方法的数值性能。
2022-03-17 stat.ME
On semi-supervised estimation using exponential tilt mixture models
Rutgers University(罗格斯大学);New York University(纽约大学)
本研究针对半监督二元分类,提出基于指数倾斜混合模型的非参数似然估计方法,推导其渐近性质,证明在随机与分层抽样下比监督逻辑回归更高效,并统一了与半参数效率理论的关系,模拟验证了理论结果。
2023-11-14 cs.LG stat.ML
Reliable Clustering of Bernoulli Mixture Models
Sharif University of Technology(谢里夫理工大学)
伯努利混合模型(Bernoulli Mixture Model,BMM)是具有独立维度的随机二进制向量的有限混合。聚类BMM数据的问题出现在各种现实世界的应用中,从群体遗传学到社交网络中的活动分析。在本文中,我们从理论的角度分析了集群的可集群性,当集群的数量是未知的。特别是,我们对模型的样本复杂度和维度规定了一组条件,以保证数据集的可能近似正确(PAC)可集群性。据我们所知,这些研究结果是第一个非渐近界的学习或聚类样本的复杂性。
2019-06-16 cs.IT cs.LG math.IT
A Robust Spectral Clustering Algorithm for Sub-Gaussian Mixture Models with Outliers
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑的问题,聚类数据集的任意离群值的存在。传统的聚类算法,如k-means和谱聚类是已知的,即使是少量的离群值污染的数据集表现不佳。在本文中,我们开发了一个可证明的强大的谱聚类算法,适用于一个简单的舍入方案去噪的高斯核矩阵建立从数据点,并使用香草谱聚类恢复数据点的聚类标签。我们分析我们的算法的性能的假设下,“好”的数据点产生的混合物的亚高斯(我们称这些“内点”),而离群点可以来自任何任意的概率分布。对于这类一般的模型,我们表明,误分类误差衰减的信号噪声比的指数率,提供的离群点的数量是一个小部分的内点。令人惊讶的是,这个派生的错误界匹配的半定规划(SDP)在相同的设置下,没有离群值的最知名的界。我们在各种模拟和真实世界的数据集上进行了广泛的实验,以证明我们的算法与文献中提出的其他最先进的算法相比,对离群值不那么敏感。
2021-01-31 cs.LG math.ST stat.ML
A Bayesian Mixture Model for Clustering on the Stiefel Manifold
分析了Stiefel流形上矩阵Langevin分布的贝叶斯混合模型。该模型利用了一个特定的参数化的矩阵Langevin分布,其中的各个方面进行了详细阐述。一个一般的,新颖的,家庭的共轭先验,和一个有效的马尔可夫链蒙特卡罗(MCMC)抽样计划,相应的后验的混合模型。详细探讨了先验分布和后验分布的理论性质,包括后验一致性。大量的仿真实验验证了该框架的有效性。真实世界的例子,包括一个大规模的神经成像数据集,进行了分析,以证明计算的易处理性的方法。
2017-08-23 stat.ME
The Bayesian Low-Rank Determinantal Point Process Mixture Model
Google DeepMind(谷歌DeepMind);Microsoft(微软)
确定性点过程(DPPs)是一个优雅的模型,用于编码基集(如商品目录)的子集(如购物篮)上的概率。它们对许多机器学习任务都很有用,包括产品推荐。DPP由半正定核矩阵参数化。最近的工作表明,使用该内核的低秩因子分解提供了显着的可扩展性改进,为在大规模数据集上进行训练和计算在线推荐打开了大门,这两者对于使用满秩内核的标准DPP模型都是不可行的。在本文中,我们提出了一个低秩DPP混合模型,使我们能够表示潜在的结构中存在的观察到的子集作为一个混合物的一些组件低秩DPP,其中每个组件DPP负责代表一部分的观察到的数据。混合模型使我们能够有效地解决低秩DPP模型的容量约束。我们提出了一个有效的和可扩展的马尔可夫链蒙特卡罗(MCMC)学习算法,我们的模型,使用吉布斯抽样和随机梯度哈密顿蒙特卡罗(SGHMC)。使用几个真实世界的产品推荐数据集的评估,我们表明,我们的低秩DPP混合模型提供了更好的预测性能比可能与一个单一的低秩或全秩DPP,并显着更好的性能比其他几个竞争的推荐方法在许多情况下。
2016-08-16 cs.LG stat.ML
Do Generalized-Gamma Scale Mixtures of Normals Fit Large Image Datasets?
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
本文验证了广义伽玛尺度混合正态分布作为大规模图像数据集的先验模型的现实性,通过远程 sensing、医学影像和图像分类应用的数据,分析其在傅里叶、小波变换及AlexNet滤波器卷积系数中的适应性。
2026-04-10 stat.AP
Mixture of segmentation for heterogeneous functional data
针对时间和总体异质的函数型数据,提出带时间分割的混合模型,证明了极大似然估计的可识别性与一致性,并用EM算法结合动态规划求解,在模拟与真实电力数据上验证了方法。
2024-07-23 stat.AP stat.CO stat.ME