Subspace Detours: Building Transport Plans that are Optimal on Subspace Projections
CREST, ENSAE(法国国家统计与经济管理学院 CREST 实验室);Google Brain(谷歌大脑)
计算高维测度间的最优迁移(OT)注定要受到维数灾难的影响。避免这种诅咒的一种流行方法是将输入测度投影到低维子空间(在切片Wasserstein距离的情况下是一维线),解决这些缩减测度之间的OT问题,并解决这些缩减之间的Wasserstein距离,而不是原始测度之间的距离。然而,这种方法很难扩展到想要计算原始测量之间的OT图(Monge图)的情况。由于计算是在低维投影上进行的,因此经典的地图估计技术只能产生在这些降低的维度上操作的地图。在这项工作中,我们提出了两种方法来外推,从一个运输地图,是最佳的子空间,一个几乎是最佳的在整个空间。我们证明,最佳的最优运输计划,采取这样的“子空间绕道”是一个推广的诺特-罗森布拉特运输。我们表明,这些计划可以明确制定时,比较高斯措施(之间的Wasserstein距离通常被称为Bures或Fréchet距离)。我们提供了一个算法来选择最佳的子空间高斯措施对,并研究的情况下,调解子空间可以选择使用先验信息。我们考虑应用程序之间的语义调解椭圆词嵌入和领域自适应高斯混合模型。
2019-10-29 cs.LG stat.ML
The EM-algorithm and the Method of Moments in Softmax Mixture Models
Department of Statistical Sciences, University of Toronto(多伦多大学统计学系);Department of Statistics and Data Science, Cornell University(康奈尔大学统计学与数据科学系);Courant Institute of Mathematical Sciences and Center for Data Science, New York University(纽约大学Courant数学科学研究所和数据科学中心);Department of Mathematics and Department of Statistics and Data Science, Cornell University(康奈尔大学数学系和统计学与数据科学系)
本文研究Softmax混合模型,证明EM算法在温和分离条件下以参数速率收敛,并开发矩方法用于参数估计和子空间估计,为EM提供冷启动,同时证明模型在大p下渐近可识别。
2026-09-09 cs.LG math.ST stat.ME
A Factorial Mixture Prior for Compositional Deep Generative Models
DeepMind(深度思维)
我们假设一个高维的数据,像一个图像,是一组属性的组合表达,与数据和它的属性之间的复杂的非线性关系。本文提出了一种用于捕获潜在属性的阶乘混合先验,从而为深度生成模型添加了结构化组合。先验将潜在向量视为属于子空间的笛卡尔积,每个子空间都用高斯混合模型单独量化。只要存在标记的属性,就可以将某些混合成分设置为将属性表示为观察到的随机变量。通过随机变分推断和梯度下降的组合,学习如何推断离散属性的方法,在无监督或半监督的方式概述和经验评估。
2018-12-18 cs.AI cs.LG stat.ML
Online Data Thinning via Multi-Subspace Tracking
Duke University(杜克大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在一个无处不在的大规模流数据时代,数据的可用性远远超过了专家人类分析师的能力。在许多情况下,这些数据要么被丢弃,要么未经处理地存储在数据中心。本文提出了一种在线数据细化的方法,在该方法中,大规模的流数据集被筛选,以保留独特的,异常的,或显着的元素,以便及时的专家分析。该方法的核心是基于动态低秩高斯混合模型的在线异常检测方法。具体地,与高斯分量相关联的高维协方差矩阵与低秩模型相关联。根据这个模型,大多数观测位于子空间的并集附近。低秩建模减轻了与高维数据的异常检测相关的维数灾难,子空间聚类和子空间跟踪的最新进展允许所提出的方法适应动态环境。此外,该方法允许二次采样,对缺失数据具有鲁棒性,并使用小批量在线优化方法。由此产生的算法是可扩展的,高效的,并且能够实时操作。广域运动图像和电子邮件数据库上的实验说明了所提出的方法的有效性。
2016-09-12 cs.LG stat.ML
Graphical tools for model-based mixture discriminant analysis
本文介绍了一种方法,用于可视化的降维子空间的分类结构和几何特征所引起的估计高斯混合模型的判别分析。特别是,我们考虑的情况下,混合物模型的混合物与不同的参数化,允许简约的模型。该方法是一个扩展的现有工作,降低基于模型的聚类基于高斯混合的维数。关于降维子空间的信息由类位置的变化提供,并且取决于估计的混合模型,由类分散的变化提供。沿着估计方向的投影提供了有助于可视化类的结构及其特征的摘要图。该方法的适当修改允许我们恢复最具判别力的方向,即,那些在类之间显示最大分离的。使用模拟和真实的数据来说明这种方法。
2015-08-07 stat.ME
Multidimensional Membership Mixture Models
Cornell University(康奈尔大学)
我们提出了多维隶属度混合(M3)模型,其中每个维度的成员代表一个独立的混合模型,每个数据点是从选定的混合成分联合产生的。当数据具有某种共享结构时,这很有帮助。例如,三个唯一的均值和三个唯一的方差可以有效地形成一个高斯混合模型与九个组件,而只需要六个参数来充分描述it.In本文中,我们提出了三个实例的M3模型(连同学习和推理算法):无限,有限,和混合,这取决于是否混合的数量是固定的或不。它们分别建立在Dirichlet过程混合模型、潜在Dirichlet分配模型和组合模型上。然后,我们考虑两个应用程序:主题建模和学习3D对象的安排。我们的实验表明,我们的M3模型实现了更好的性能,使用更少的主题比许多经典的主题模型。我们还观察到,来自M3模型的不同维度的主题是有意义的,并且彼此正交。
2012-08-02 cs.LG stat.ML
Finite Mixture Model of Nonparametric Density Estimation using Sampling Importance Resampling for Persistence Landscape
Allameh Tabatabai University(阿拉梅·塔巴塔拜大学)
考虑到持久性景观在参数化曲线上的产生和采样结构,存在一个随机过程,对于给定的数据集,持久性景观的有限混合模型(FMMPL)可以提供更好的描述。本文提出了一种非参数的方法来计算在持久性景观的综合均方误差(IMSE)。因此,FMMPL比另一种方法更准确。提出了采样重要性响应(SIR),较好地描述了参数化曲线中的重要标志点。结果,提供了更高的准确性和更低的空间复杂性比简单的采样选择的地标。
2018-11-17 cs.LG stat.ML
Learning Mixtures of Nonparametric and Convolutional Measures on Effectively Low-dimensional Affine Spaces
Duke University(杜克大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
本文提出了一种有限混合卷积分布模型,用于分析近似分布在低维仿射子空间混合体上的连续数据,探讨了该类模型的可识别性和后验收缩速率,以及在子空间聚类中的应用。
2026-04-19 math.ST stat.TH
Understanding Self-Supervised Learning via Gaussian Mixture Models
UT Austin(得克萨斯大学)
本文通过高斯混合模型分析自监督学习,证明对比学习能有效找到最优低维子空间,优于传统谱技术,并验证了多模态对比学习的理论结果。
2026-01-29 cs.LG
The Search Problem in Mixture Models
University of Texas, Austin(得克萨斯大学奥斯汀分校);Rheinische Friedrich-Wilhelms-Universität Bonn(莱茵弗里德里希-威廉大学波恩分校)
我们考虑学习混合模型的{ \em单一}成分的参数的任务,对于当我们给出关于该成分的{ \em边信息}的情况,我们称之为混合模型中的“搜索问题”。我们希望以低于解决整个原始问题的计算和样本复杂度来解决这个问题,其中一个学习所有组件的参数。我们的主要贡献是发展一个简单的,但一般的模型的概念,边信息,和相应的简单的基于矩阵的算法,解决搜索问题,在这个一般的设置。然后,我们专门这个模型和算法的四个常见的情况下:高斯混合模型,LDA主题模型,子空间聚类和混合线性回归。对于其中的每一个,我们表明,当(且仅当)边信息是信息丰富的,我们获得参数估计具有更高的精度,也提高了计算复杂性比现有的基于矩的混合模型算法(例如张量方法)。我们还说明了几种自然的方式,可以获得这样的边信息,为特定的问题实例。我们在真实数据集(纽约时报,Yelp,BSDS 500)上的实验进一步证明了我们的算法在运行时间和准确性方面的显着改善的实用性。
2018-02-24 cs.LG stat.ML
Subspace Clustering with the Multivariate-t Distribution
许多现代数据集需要适合于分析非常高维数据的聚类过程。在基于模型的聚类中,一种称为高维数据聚类(HDDC)的方法使用一系列高斯混合模型进行聚类。HDDC基于高维数据通常存在于低维子空间中的想法;因此,可以估计观察到的数据的每个子群体的固有维度,并且可以在该低维子空间中执行聚类分析。因此,只有一小部分的参数总数需要估计和计算效率的参数估计计划的基础上的期望最大化算法开发。这一系列的模型已经获得了关注,由于其优越的分类性能相比,其他家庭的混合模型,但是,它仍然受到通常的限制高斯混合模型为基础的方法。在本文中,提出了一个强大的模拟的HDDC方法。这种方法,它扩展了HDDC程序,包括多变量- t分布,包括28个模型,纠正了HDDC程序的上述缺点。我们的tHDDC程序适合模拟和真实的数据集,并进行比较,HDDC程序使用的图像重建问题,从火星表面的卫星图像。
2017-06-27 stat.ME
Mixture Probabilistic Principal Geodesic Analysis
Lehigh University(理海大学);University of Virginia(弗吉尼亚大学)
由于黎曼流形上复杂的非线性数据结构,黎曼流形上的非线性约简具有挑战性。概率主测地线分析(PPGA)是将传统的主成分分析(PCA)推广到流形上的一种方法,但其有效性仅限于单一模态的数据。在本文中,我们提出了一种新的高斯潜变量模型,提供了一种独特的方式来集成多个PGA模型到一个最大似然框架。这导致一个定义良好的混合模型的概率主测地线分析(MPPGA)的子种群,其中的主子空间的参数自动估计采用期望最大化算法。我们进一步开发了一个混合贝叶斯PGA(MBPGA)模型,通过抑制不相关的主测地线自动降低数据的维数。我们证明了我们的模型在聚类和统计形状分析的背景下,使用合成的球体数据,真实的胼胝体,和下颌骨数据从人脑磁共振~(MR)和CT图像的优势。
2019-09-05 cs.CV cs.LG stat.ML
Bayesian Distilled Clustering for High-Dimensional Mixture Models
Abstract Math Institute(抽象数学研究所)
本文针对高维混合模型提出贝叶斯蒸馏聚类框架,通过贝叶斯变量选择确定协变量子空间并在其上聚类,以识别分布与行为存在差异的潜在亚群,解决高维聚类的噪声干扰问题。
2026-08-10 math.ST stat.ME stat.TH
Bayesian Subspace Hidden Markov Model for Acoustic Unit Discovery
Brno University of Technology(布尔诺理工大学)
这项工作解决的问题,学习一组语言特定的声学单位从未标记的语音记录给定的一组标记的录音从其他语言。我们的方法可以描述为以下两个步骤的过程:首先,模型学习的概念的声学单位从标记的数据,然后模型使用它的知识,以找到新的声学单位的目标语言。我们用贝叶斯子空间隐马尔可夫模型(SHMM)实现这个过程,这是一种类似于子空间高斯混合模型(SGMM)的模型,其中每个低维嵌入表示一个声学单元,而不仅仅是HMM的状态。子空间在来自GlobalPhone语料库的3种语言(德语、波兰语和西班牙语)上训练,AU在TIMIT语料库上发现。以等效电话出错率测量的结果表明,该方法明显优于以前的基于HMM的声学单元发现系统,并且与变分自动编码器HMM相比毫不逊色。
2019-07-02 cs.LG cs.SD eess.AS
Flexible Clustering for High-Dimensional Data via Mixtures of Joint Generalized Hyperbolic Models
针对高维数据的非对称聚类问题,提出了一种联合广义双曲分布的混合聚类算法。MJGHD方法考虑了集群特定的子空间,从而限制了要估计的参数的数量,同时也便于结果的可视化。可识别性进行了讨论,并概述了多周期ECM算法的参数估计。MJGHD的方法说明了两个真实的数据集,贝叶斯信息准则用于模型选择。
2018-01-06 stat.CO stat.ME
A Bayesian Fisher-EM algorithm for discriminative Gaussian subspace clustering
高维数据聚类已经成为现代统计学和机器学习的一个具有挑战性的课题,并有着广泛的应用。在这项工作中,我们认为强大的歧视性潜在的混合模型,我们将其扩展到贝叶斯框架。将数据建模为低维判别子空间中的高斯混合模型,在潜在组均值上引入高斯先验分布,并考虑不同的协方差结构导出了一组12个子模型.模型推理是用变分期望最大化算法完成的,而判别子空间是通过Fisher步骤最大化无监督Fisher准则来估计的。提出了一个经验贝叶斯过程的先验超参数的估计,并得出一个综合的分类似然准则选择的集群和子模型的数量。所得到的贝叶斯Fisher-期望最大化算法的性能进行了研究,在两个彻底的模拟情况下,关于两个维度以及噪声和评估其优越性相对于国家的最先进的高斯子空间聚类模型。除了标准的真实数据基准测试外,还提出了一个单图像去噪的应用程序,并显示了相关结果。这项工作附带了本文附带的FisherEM包中R软件的参考实现。
2020-12-08 stat.ME
Covariate-guided Bayesian mixture model for multivariate time series
随着脑活动和结构测量技术的迅速发展,现代脑成像的统计分析方法在科学进步中发挥着重要作用。测量脑功能的成像数据通常是多变量时间序列,并且在成像源和受试者之间是异质的,这导致各种统计和计算挑战。在本文中,我们提出了一种基于组的方法,通过贝叶斯混合平滑样条聚类的多元时间序列的集合。我们的方法假设每个多元时间序列是具有不同混合权重的多个分量的混合。与时间无关的协变量被假定为与混合物成分相关联,并通过混合专家模型的逻辑权重进行合并。我们制定了一个完整的贝叶斯框架下使用吉布斯抽样的组件的数量是基于偏差信息标准选择这种方法。所提出的方法相比,现有的方法,通过模拟研究,并适用于功能性近红外光谱(fNIRS),其目的是了解婴儿的情绪反应和恢复压力的研究。结果揭示了大脑活动的不同模式,以及这些模式与选定的协变量之间的关联。
2023-01-03 stat.AP stat.CO stat.ME
CobBO: Coordinate Backoff Bayesian Optimization with Two-Stage Kernels
Alibaba Group(阿里巴巴集团)
贝叶斯优化是一种用于优化昂贵的黑盒函数的流行方法。然而,它经常在计算可能过于繁重的高维空间中挣扎。为了缓解这个问题,我们引入了具有两阶段内核的协调退避贝叶斯优化(CobBO)。在每一轮中,第一阶段使用一个简单的粗糙内核,牺牲近似精度以提高计算效率。它通过有意消除局部波动来捕捉全球景观。然后,在同一轮的第二阶段中,将全空间中的过去观测点投影到所选择的子空间以形成虚拟点。这些虚拟点,连同使用第一阶段的简单内核估计的其未知函数值的均值和方差,在第二阶段中被拟合到更复杂的内核模型。在所选择的低维子空间内,在其中进行贝叶斯优化的计算成本变得负担得起。为了进一步提高性能,在同一子空间中收集一系列连续的观测值,这可以有效地改进函数的近似。这种细化一直持续到满足停止规则,确定何时从某个子空间后退并切换到另一个子空间。这种解耦显著降低了高维中的计算负担,这充分利用了整个空间中的观测,而不是仅依赖于每个坐标子空间中的观测。广泛的评估表明,CobBO找到了与其他最先进的方法相当或更好的解决方案,尺寸范围从几十到几百,同时降低了试验的复杂性和计算成本。
2022-04-19 cs.AI cs.LG math.OC
Dimension reduction for model-based clustering
我们介绍了一个降维方法可视化的聚类结构从有限的混合高斯密度。关于降维子空间的信息从组均值的变化获得,并且取决于估计的混合模型,从组协方差的变化获得。所提出的方法旨在通过识别一组线性组合来降低维度,所述线性组合按相关特征值量化的重要性排序,所述特征捕获数据中包含的大部分聚类结构。然后可以将观测投影到这样的简化子空间上,从而提供有助于可视化聚类结构的摘要图。这些图在高维数据和噪声结构的情况下特别有吸引力。新构造的变量捕获了数据中可用的大部分聚类信息,并且可以进一步减少它们以提高聚类性能。我们说明了模拟和真实数据集的方法。
2015-08-07 stat.ME stat.ML
Isotropic PCA and Affine-Invariant Clustering
Georgia Tech(佐治亚理工学院)
提出了一种新的聚类算法。该算法的关键属性是它是仿射不变的,即,它为输入的任何仿射变换产生相同的划分。当输入来自混合模型时,它具有很强的保证。对于两个任意高斯的混合,该算法正确地分类样本,仅假设两个分量可由超平面分离,即,存在一个半空间,其中包含一个高斯的大部分,而几乎没有其他的概率质量。这几乎是最好的可能,大大改善了已知的结果。对于k > 2的分量,该算法只要求存在一个k-1维的子空间,在这个子空间中,每个方向上的重叠都很小。在这里,我们将重叠定义为以下两个量的比值:1)点与其分量均值之间的平均平方距离,以及2)点与混合均值之间的平均平方距离。主要结果也可以用线性判别分析的语言来表述:如果标准Fisher判别式足够小,则不需要标签来估计用于投影的最佳子空间。我们的主要工具是各向同性变换,光谱投影和一个简单的重新加权技术。我们称这种组合为各向同性PCA。
2008-08-04 cs.CG cs.LG
Analysis of singular subspaces under random perturbations
Hong Kong University of Science and Technology(香港科技大学)
本文研究了随机扰动下奇异子空间的分析,扩展了Davis-Kahan-Wedin定理,推导了奇异向量和子空间的界,并探讨了其在高斯混合模型和子矩阵定位中的应用。
2026-02-09 cs.NA math.NA math.PR
Model Inconsistent but Correlated Noise: Multi-view Subspace Learning with Regularized Mixture of Gaussians
the Hong Kong Polytechnic University(香港理工大学);Harbin Institute of Technology(哈尔滨工业大学)
多视图子空间学习(MSL)的目的是找到一个低维的子空间的数据从多个视图。与单视图的情况不同,多视图语义学既要考虑视图间的共性知识,也要考虑视图间的特定知识。为了提高模型的鲁棒性,应充分考虑多视图数据中噪声的复杂性、非一致性和相似性。现有的MSL方法只假设噪声服从简单的高斯或拉普拉斯分布,而忽略了实际数据中各视图中复杂的噪声结构和不同视图间的噪声相关性。针对这一问题,本文提出了一种基于多视点共享和单视点噪声知识的MSL方法。具体来说,我们将每个视图中的数据噪声建模为单独的高斯混合(MoG),它可以适应比传统高斯/拉普拉斯更广泛的复杂噪声类型。此外,我们将所有的单视图噪声作为一个整体,通过一个共同的MoG组件,编码共享的噪声知识。这种正则化分量可以在MAP框架下表示为一个简洁的KL-散度正则化项,从而对我们的模型有很好的解释,并且可以使用简单的基于EM的求解策略来解决问题。实验结果证实了我们的方法的优越性。
2018-11-07 cs.LG stat.ML
Parsimonious Skew Mixture Models for Model-Based Clustering and Classification
在最近的工作中,已经探索了使用偏态分布的稳健混合建模方法以适应不对称数据。我们介绍了简约性的发展斜-T和斜-正常的类似物的流行的GPCM家庭,采用一个半正定矩阵的特征值分解。本文中开发的方法相比,现有的模型在无监督和半监督分类框架。参数估计采用期望最大化算法,模型选择采用贝叶斯信息准则。这些扩展的功效说明模拟和基准聚类数据集。
2013-02-10 stat.ME
Unsupervised Outlier Detection using Random Subspace and Subsampling Ensembles of Dirichlet Process Mixtures
Nexon(奈森(韩国游戏公司));Danggeun Market(당근마켓(韩国电商公司));University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Yonsei University(延世大学)
针对 Dirichlet Process Mixtures 计算低效且对非高斯数据建模困难的问题,提出一种结合随机子空间与子采样集成及变分推断的无监督离群点检测方法,有效提升了计算效率、鲁棒性和检测性能。
2024-07-25 cs.AI cs.LG stat.ML
Adjusted Bayesian inference for selected parameters
我们解决的问题,从贝叶斯的角度来看,查看数据后选择的参数提供推断。我们提出了一个贝叶斯框架,为选定的参数提供推断,根据观察,为选定的参数提供贝叶斯推断是一个截断数据的问题。我们表明,如果参数的先验是非信息的,或者如果参数是一个“固定的”未知常数,那么有必要调整选择的贝叶斯推断。我们的第二个贡献是引入了贝叶斯错误发现率控制方法,它推广了现有的贝叶斯FDR方法,这些方法只定义在两组混合模型中,我们将这些结果应用于模拟数据和来自微阵列实验的数据。
2011-09-15 stat.CO stat.ME
Identifying Mixtures of Mixtures Using Bayesian Estimation
在基于模型的聚类中使用有限混合的正态分布允许捕获非高斯数据聚类。然而,从正常分量中识别聚类是具有挑战性的,并且通常通过对模型施加约束或通过使用后处理过程来实现。在贝叶斯框架内,我们提出了一种不同的方法,基于稀疏有限混合物,以实现可识别性。我们指定了一个分层的先验,其中超参数是精心选择的,这样它们就可以反映目标的集群结构。此外,该先验允许使用标准MCMC采样方法来估计模型。结合解决标签切换问题并导致识别模型的后处理方法,我们的方法允许同时(1)确定聚类的数量,(2)使用有限的法线混合以半参数方式灵活地近似聚类分布,以及(3)识别特定于聚类的参数并对观察结果进行分类。所提出的方法是说明在两个模拟研究和基准数据集。
2016-06-20 stat.ME
Without Pain -- Clustering Categorical Data Using a Bayesian Mixture of Finite Mixtures of Latent Class Analysis Models
本文提出一种贝叶斯两层有限混合模型,用潜在类别分析近似簇分布,结合伸缩采样器和标签切换处理,实现对未知簇数多元分类数据的简约聚类,并在模拟和下背痛数据上验证了有效性。
2024-07-07 stat.ME
Comparison of methods for analyzing environmental mixtures effects on survival outcomes and application to a population-based cohort study
Columbia University(哥伦比亚大学);Harvard University(哈佛大学)
本研究通过模拟和Strong Heart Study真实数据,比较了BART、Cox弹性网、GPR等方法在分析环境混合物对生存结局影响时的性能,发现灵活模型在非比例风险下更具优势,并建议实践中评估不同方法结果的一致性。
2023-11-02 stat.AP stat.ME
Confidence set for mixture order selection
针对高斯混合模型阶数选择的不确定性问题,提出模型选择置信集(MSCS),基于惩罚似然比筛选所有合理阶数,提供渐近覆盖保证,并通过模拟和真实数据验证优势。
2025-06-24 math.ST stat.ME stat.TH
The discriminative functional mixture model for a comparative analysis of bike sharing systems
自行车共享系统(BSS)已成为可持续多式联运的一种手段,目前已在全球许多城市提出。大多数BSS还提供对其数据的开放访问,特别是对其自行车站点的实时状态报告。BSS提供商对分析此类系统生成的大量数据以更新系统结构和策略特别感兴趣。这项工作是出于对分析和比较几个欧洲BSS的兴趣,以确定BSS的常见操作模式,并提出切实可行的解决方案,以避免潜在的问题。我们的方法依赖于识别系统之间和系统内部的共同模式。为此,开发了一种基于模型的聚类方法,称为FunFEM,用于时间序列(或更一般的功能数据)。它是基于一个功能的混合模型,允许在一个歧视性的功能子空间的数据聚类。该模型在这方面的优势是简约,并允许集群系统的可视化。数值实验证实了FunFEM的良好行为,特别是与最先进的方法相比。FunFEM在德高和伦敦交通倡议的BSS数据中的应用使我们能够识别10种一般模式,包括病理模式,并根据系统比较提出实用的改进策略。在判别子空间内的聚类数据的可视化证明是关于系统效率的特别有用的信息。所提出的方法是在一个包中实现的R软件,名为funFEM,这是可在CRAN。该软件包还提供了在这项工作中分析的数据的子集。
2016-01-29 stat.AP
Training of Neural Networks with Uncertain Data: A Mixture of Experts Approach
University of Regensburg(雷根斯堡大学)
本文提出uMoE方法,通过在训练阶段嵌入不确定性并采用分而治之策略划分输入空间,结合专家组件与门控单元动态调整权重,有效管理神经网络预测模型中的偶然不确定性,性能优于基线且具广泛适用性。
2024-04-25 cs.LG stat.ML
Projection pursuit based on Gaussian mixtures and evolutionary algorithms
University of Perugia(佩鲁贾大学)
提出了一种基于高斯混合模型的投影寻踪算法。通过Gynthology估计的多变量密度获得的负熵被采用作为PP指数被最大化。对于固定维度的投影子空间,基于GMM的密度估计被投影到该子空间上,其中计算高斯混合的负熵的近似。然后,遗传算法(GAs)被用来找到最佳的,正交投影的基础上,通过最大化前近似。我们表明,这种半参数的方法PP是灵活的,并允许高度信息化的结构被检测到,通过将多变量数据集投影到一个子空间,在那里数据可以被可视化。所提出的方法的性能显示在人工和真实的数据集。
2019-12-27 cs.LG cs.NE stat.ME
Clustering Multivariate Data using Factor Analytic Bayesian Mixtures with an Unknown Number of Components
最近的工作过拟合贝叶斯混合分布提供了一个强大的框架,使用潜在的高斯模型,类似于因子分析模型的聚类多变量数据。过拟合混合模型提供的灵活性产生了一个简单而有效的方法,以估计未知数量的集群和模型参数的马尔可夫链蒙特卡罗(MCMC)抽样。本研究通过考虑一组8个参数化扩展了这种方法,从而产生了每个聚类的协方差阵的简约表示。为了近似地从过拟合混合物的后验分布中采样,实现了与先前的并行回火方案相结合的Gibbs采样器。根据贝叶斯信息准则选择参数化和因子数。与标签切换相关的可识别性问题通过使用等价类代表算法对模拟输出进行后处理来处理。贡献的方法和软件进行了演示和比较,类似的模型估计使用期望最大化算法的模拟和真实的数据集。该软件可在https://CRAN.R-project.org/package=fabMix上在线获得。
2019-06-02 stat.CO stat.ME
lp-Recovery of the Most Significant Subspace among Multiple Subspaces with Outliers
University of Minnesota(明尼苏达大学)
我们假设从d维线性子空间的混合物中采样的数据在每个子空间内具有球对称分布,并且在环境空间内具有球对称分布的附加离群值分量(为了简单起见,我们可以假设所有分布在其对应的单位球上是均匀的)。我们还假设不同成分的混合权重。如果模型的一个底层子空间的混合权重高于所有其他子空间的混合权重之和,则我们说该子空间是最显著的。我们研究了通过最小化数据点到d维子空间的lp平均距离来恢复最重要子空间,其中p>0。与其他lp最小化问题不同,这种最小化对于所有p>0都是非凸的,因此需要不同的方法来分析。我们表明,如果0<p<=1,那么对于任何一部分离群值,最重要的子空间可以通过lp最小化以压倒性的概率(这取决于生成分布及其参数)恢复。我们表明,当在底层子空间周围添加小噪声时,对于任何0<p<=1,最重要的子空间几乎可以通过lp最小化来恢复,误差与噪声水平成比例。另一方面,如果p>1并且存在一个以上的基础子空间,则以压倒性的概率,最重要的子空间不能被恢复或几乎被恢复。最后一个结果不需要球对称离群值。
2014-01-13 cs.CV math.FA stat.ML
POSSE-kNN: Pathwise Out-of-Bag Selected Subspace Ensembles for Binary Classification
College of Business and Economics(商业与经济学院);United Arab Emirates University(阿拉伯联合酋长国大学)
针对固定邻域不符合局部类别几何时近邻分类性能下降的问题,提出POSSE-kNN路径式k近邻集成方法,在10个二分类基准数据集上的三个核心指标均取得最佳汇总结果。
2026-08-03 cs.LG stat.ML
Simultaneous model-based clustering and visualization in the Fisher discriminative subspace
高维空间中的聚类是当今许多科学领域中经常出现的问题,但从聚类精度和结果理解的角度来看仍然是一项艰巨的任务。本文提出了一种判别潜在混合(DLM)模型,该模型将数据拟合在一个本征维数低于原始空间维数的潜在正交判别子空间中。通过限制组内和组间的模型参数,展示了一个包含12个简约DLM模型的家庭,该家庭允许适应各种情况。提出了一种估计混合参数和判别子空间的Fisher-期望最大化算法。仿真和真实数据集上的实验表明,该方法比现有的聚类方法性能更好,同时提供了一个有用的表示聚类数据。该方法也适用于质谱数据的聚类。
2011-04-19 stat.AP stat.CO stat.ME
Robust recovery of multiple subspaces by geometric l_p minimization
我们假设身份证。从具有沿固定d维线性子空间的K个分量和附加离群分量的混合分布中采样的数据。当p>0时,通过最小化采样数据点到任意K个子空间的l_p平均距离,研究了K个固定子空间的同时恢复问题。在一定的条件下,证明了如果$0<p\leq1$,则所有的子空间都可以通过l_p极小化以压倒性的概率精确地恢复.另一方面,如果K>1且p>1,则底层子空间不能通过l_p最小化恢复或甚至几乎恢复。本文的结果部分地解释了用多子空间建模数据的l_p能量最小化基本方法的成功和失败。
2012-02-01 math.ST stat.ML stat.TH