Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st(哈桑一世大学);University of Abdelmalek Essaâdi(阿卜杜勒马利克·埃萨迪大学)
混合模型已被广泛用于聚类中,由于其概率框架,其基础,然而,对于现代数据库,其特点是其规模大,这些模型的行为dispromisingly在设置模型,使必要的相关变量的选择,这种类型的聚类。在回顾了基于模型的聚类的基础知识之后,本文将研究基于模型的聚类的变量选择方法,并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo
Aalto University(阿尔托大学)
本文提出基于迭代后验线性化和Hamilton蒙特卡洛的方法,用于估计log-Gaussian伽马过程的后验分布,并通过实验验证其有效性。
2026-02-07 stat.CO stat.ME
Deep Gaussian Processes: A Survey
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
高斯过程是贝叶斯学习中的主要方法之一。虽然这种方法已经成功地应用于许多问题,但它有一些基本的局限性。文献中的多种方法已经解决了这些局限性。然而,迄今为止还没有对这些专题进行全面调查。大多数现有的调查集中在高斯过程及其衍生物的一个特定的变种。这项调查详细介绍了使用高斯过程的核心动机,它们的数学公式,局限性以及多年来为解决上述局限性而蓬勃发展的研究主题。此外,一个特殊的研究领域是深度高斯过程(DGPs),它在过去十年中有了很大的改进。在他们的调查中概述了推进这一研究领域前沿的重要出版物。最后,对有待解决的问题和今后的研究方向进行了简要的讨论。
2021-06-21 cs.LG stat.ML
EGMM: an Evidential Version of the Gaussian Mixture Model for Clustering
Northwestern Polytechnical University(西北工业大学);Université de Technologie de Compiègne(贡比涅技术大学);Institut Universitaire de France(法国大学研究院)
高斯混合模型(GMM)为聚类提供了一个简单而有原则的框架,具有适合统计推断的属性。在本文中,我们提出了一种新的基于模型的聚类算法,称为EGMM(证据GMM),在理论框架的信念函数,以更好地表征集群成员的不确定性。用一个质量函数来表示每个对象的聚类隶属度,提出了由所需聚类幂集上的分量组成的证据高斯混合分布来建模整个数据集。EGMM中的参数估计由一个专门设计的期望最大化(EM)算法。还提供了允许自动确定簇的适当数目的有效性指数。建议EGMM是简单的经典GMM,但可以产生一个更丰富的证据分区所考虑的数据集。合成数据集和真实数据集的实验结果表明,该EGMM算法的性能优于其他代表性的聚类算法。最后,将其应用于多模态脑图像分割,证明了该方法的优越性。
2022-09-07 cs.LG stat.ML
The Use of Gaussian Processes in System Identification
在机器学习中使用高斯过程来从观察到的数据中学习输入-输出映射。高斯过程回归基于对未知回归函数施加高斯过程先验,并根据观察数据对其进行统计调节。在系统识别中,高斯过程用于形成时间序列预测模型,例如非线性有限脉冲响应(NFIR)模型以及非线性自回归(NARX)模型。高斯过程状态空间模型(GPSS)可用于学习输入-输出数据的状态空间表示的动态和测量模型。时间和时空高斯过程可以直接用于在时域上对数据形成回归量。这篇文章的目的是简要概述了系统识别方法的主要方向,使用高斯过程。
2019-07-13 cs.LG cs.SY eess.SY
Scalable Model-Based Gaussian Process Clustering
针对大型网格上的函数型数据,提出将Vecchia近似嵌入聚类任务并开发高效EM算法,解决了高斯过程聚类计算复杂度过高的问题,实现了大规模环境应用中的可扩展性。
2023-09-14 stat.AP stat.CO stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille(里尔大学);CNRS/CRIStAL(法国国家科学研究中心/CRIStAL实验室);Inria Lille(法国里尔国家信息与自动化研究所)
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而,由于经典高斯过程的协方差阵的平稳性是先验的,这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题,提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型,而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性,从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论,并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比,最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Upgrading from Gaussian Processes to Student's-T Processes
高斯过程先验通常用于航空航天设计以执行贝叶斯优化。尽管如此,高斯过程有两个明显的缺点:离群值是先验假设不太可能的,并且以观测数据为条件的后验方差仅取决于这些数据的位置,而不是相关的样本值。Student's-T过程是高斯过程的推广,建立在Student's-T分布而不是高斯分布上。Student's-T过程保持了高斯过程的主要优点(核函数,解析更新规则),并具有超越高斯过程的额外好处。Student's-T分布具有比高斯分布更高的峰度,因此离群值更有可能,并且后验方差根据观察到的数据样本值的方差增加或减少。在这里,我们描述学生的T过程,并讨论其优势的背景下,航空航天优化。我们将展示如何使用核函数构建学生T过程,以及如何在给定新样本的情况下更新该过程。我们提供了一个明确的推导优化相关的数量,如预期的改善,并与高斯过程的相关计算的对比。最后,我们比较了Student's T过程和Gauss过程在贝叶斯优化中典型测试问题上的性能,并将Student's T过程应用于一个气动结构设计问题的优化。
2018-01-18 stat.ML
A Bayesian approach for clustering skewed data using mixtures of multivariate normal-inverse Gaussian distributions
非高斯混合模型在基于混合模型的聚类中得到越来越多的关注,特别是在处理具有偏态和重尾等特征的数据时。在这里,这样的混合分布,基于多元正态逆高斯(MNIG)分布。对于混合模型的参数估计,采用基于Gibbs抽样的贝叶斯方法,提出了一种模拟单变量广义逆高斯随机变量和矩阵广义逆高斯随机矩阵的新方法.该算法将被应用到模拟和真实数据。通过仿真研究和实际数据分析,我们表明参数恢复,我们的方法提供了竞争力的聚类结果相比,其他聚类方法。
2020-05-06 stat.CO
A brief note on understanding neural networks as Gaussian processes
University of Twente(特文特大学)
作为[Lee等人,2017],本文简要讨论了神经网络输出的先验何时遵循高斯过程,以及神经网络诱导的高斯过程是如何形成的。这种高斯过程回归的后验均值函数位于由神经网络诱导核定义的再生核希尔伯特空间中。在两层神经网络的情况下,诱导高斯过程提供了再生核希尔伯特空间的一种解释,其联合形成巴伦空间。
2021-07-25 cs.CE cs.LG stat.ML
Optimal Clustering in Anisotropic Gaussian Mixture Models
University of Washington(华盛顿大学);University of Pennsylvania(宾夕法尼亚大学)
本文研究了各向异性高斯混合模型下的聚类问题,其中来自不同聚类的协方差阵是未知的,并且不一定是相同的矩阵。我们刻画了信噪比对聚类中心和协方差阵的依赖性,并得到了聚类问题的极大极小下界。此外,我们提出了一个计算上可行的程序,并证明它达到了最佳的速度在几个迭代。所提出的方法是一种硬EM型算法,它也可以被看作是劳埃德算法的一个变体,该算法被调整到各向异性的协方差阵。
2021-01-18 cs.LG math.ST stat.ML
A clustered Gaussian process model for computer experiments
高斯过程是计算机仿真的重要方法之一。然而,高斯过程的平稳性假设和大规模数据集的复杂性限制了它在实际应用中的有效性。在这篇文章中,我们提出了一个聚类的高斯过程模型,该模型将输入数据分成多个聚类,在每个聚类中执行一个高斯过程模型。随机期望最大化被用来有效地拟合模型。在我们的模拟以及太阳辐照度仿真的实际应用中,我们提出的方法比其主要竞争对手具有更小的均方误差,具有竞争力的计算时间,并通过发现集群提供了有价值的见解。在一个开放的存储库中提供了用于拟议方法的R包。
2020-11-05 stat.ME
Non-Gaussian processes and neural networks at finite widths
Facebook AI Research(Facebook人工智能研究院)
高斯过程在自然界和工程中普遍存在。一个恰当的例子是一类无限宽极限的神经网络,其先验对应于高斯过程。在这里,我们微扰扩展到有限宽度的神经网络,产生非高斯过程作为先验。本文开发的方法使我们能够跟踪流的预激活分布逐步整合出随机变量从较低到较高的层,让人想起重整化群流。我们进一步开发了一个微扰过程来执行具有弱非高斯先验的贝叶斯推断。
2020-08-26 cond-mat.dis-nn cs.LG hep-th
Information fusion in multi-task Gaussian processes
Australian Centre for Field Robotics, The University of Sydney(悉尼大学澳大利亚现场机器人中心)
本文评估异构信息融合的背景下,地质资源建模使用多任务高斯过程。具体来说,它经验表明,跨异构信息源的信息集成导致所有被建模的量的优越估计,单独建模它们相比。多任务高斯过程提供了一种强大的方法,同时考虑这些量之间的相关性的同时建模的多个感兴趣的量。在大规模真实传感器数据上进行了实验。
2013-09-05 cs.AI cs.LG stat.ML
Graph Convolutional Gaussian Processes
Imperial College London(帝国理工学院)
我们提出了一种新的贝叶斯非参数方法来学习非欧域上的不变性关系。所得到的图卷积高斯过程可以应用于机器学习中的问题,其中输入观测是具有一般图上的域的函数。这些模型的结构允许高维输入,同时保持可表达性,如卷积神经网络的情况。我们目前的应用程序的图形卷积高斯过程的图像和三角形网格,证明其通用性和有效性,相比现有的方法,尽管相对简单的模型。
2019-05-14 cs.CV cs.LG stat.ML
Improving Output Uncertainty Estimation and Generalization in Deep Learning via Neural Network Gaussian Processes
我们提出了一个简单的方法,结合神经网络和高斯过程。该方法可以估计输出的不确定性,并在训练数据存在的情况下灵活地调整目标函数,这是高斯过程的优点。所提出的方法还可以实现高的泛化性能的未知输入配置,这是神经网络的一个优点。利用所提出的方法,神经网络被用于高斯过程的均值函数。我们提出了一个可扩展的随机推理过程,稀疏高斯过程的随机变分推断推断,神经网络和内核的参数估计的随机梯度下降方法,同时。我们使用两个真实世界的时空数据集,实验表明,该方法实现了更好的不确定性估计和泛化性能比神经网络和高斯过程。
2017-07-19 stat.ML
Efficient Sparse Clustering of High-Dimensional Non-spherical Gaussian Mixtures
我们考虑在高维数据点的聚类问题,即当数据点的数量可能比维度的数量小小于。具体来说,我们考虑一个高斯混合模型(GMM)与非球形高斯分量,其中的集群区分只有几个相关的尺寸。我们提出的方法是一个最近的高斯混合模型和稀疏线性判别分析(LDA)的学习参数的方法相结合。除了聚类分配之外,该方法还返回与聚类相关的特征集的估计值。我们的研究结果表明,样本聚类的复杂性取决于相关的特征集的稀疏性,而只有缩放与周围的维度。此外,我们需要更温和的假设比现有的工作在高维聚类。特别是,我们不需要球形集群,也不需要沿相关维度的平均分离。
2014-06-09 math.ST stat.ML stat.TH
Cutoff for exact recovery of Gaussian mixture models
我们确定的信息理论截断值的聚类中心分离的集群标签的确切恢复$K$组件高斯混合模型具有相等的集群大小。此外,我们表明,一个半定规划(SDP)放松的$K$ -均值聚类方法实现精确恢复,而无需假设对称的聚类中心,这样的尖锐的阈值。
2020-11-30 cs.DS cs.IT math.IT
Kalman Filtering with Gaussian Processes Measurement Noise
机器人等应用中的真实测量噪声通常与时间相关,但我们通常假设i.i.d.高斯噪声滤波。我们提出了一般高斯过程作为相关测量噪声的非参数模型,它足够灵活,可以及时准确地反映相关性,但又足够简单,可以实现高效的计算。我们表明,该模型准确地反映了基于视觉的同时定位和映射(SLAM)产生的测量噪声,并认为它提供了一种灵活的手段建模测量噪声的各种传感器系统和感知算法。然后,我们扩展现有的结果与自回归过程的卡尔曼滤波更一般的高斯过程,并证明我们的方法的改进性能。
2019-09-23 cs.LG cs.RO cs.SY
Strong Approximation of Empirical Copula Processes by Gaussian Processes
我们提供了高斯过程对经验copula过程的强逼近。此外,我们建立了光滑经验copula过程的强逼近和一个重对数律。
2011-06-19 math.ST stat.TH
Estimation of Gaussian Bi-Clusters with General Block-Diagonal Covariance Matrix and Applications
双聚类是一种允许同时对数据集中的观测和特征进行聚类的技术。该技术常用于生物信息学、文本挖掘和时间序列分析。双聚类算法的一个重要优点是能够发现多个"视图“(即,通过行和列分组)。目前文献中存在几种基于高斯混合模型的双聚类方法。然而,它们对协方差阵的结构施加了严格的限制。在这里,我们提出了一个基于高斯混合模型的双聚类方法,提供了一个更灵活的块对角协方差结构。我们表明,该模型的聚类精度与其他已知技术相当,但我们的方法提供了一个更灵活的协方差结构,并具有显着降低的计算时间。我们展示了该模型在生物信息学和主题建模中的应用。
2023-02-08 stat.CO
An adequacy approach for deciding the number of clusters for OTRIMLE robust Gaussian mixture based clustering
我们介绍了一种新的方法来决定集群的数量。该方法应用于高斯混合模型的最优调谐鲁棒不正确极大似然估计(OTRIMLE; Coretto和Hennig 2016),允许将观测值分类为“噪声”,但它也可以应用于其他聚类方法。聚类的质量由统计量$Q$评估,该统计量测量聚类内分布与在均值中具有唯一模式的椭圆单峰分布的接近程度。这种非参数测量允许非高斯聚类,只要它们根据$Q$具有良好的质量。模型的简单性通过优选较少数目的簇的测量$S$来评估,除非额外的簇可以实质上减少估计的噪声比例。然后选择最简单的模型,该模型对于数据是足够的,因为其观察到的$Q$值不显著大于从拟合模型真实生成的数据的预期值,如可以通过参数自助法评估的。该方法与基于模型的聚类使用贝叶斯信息准则(BIC)和综合完全似然法(ICL)在模拟研究和两个数据集的科学兴趣。关键词:参数自举;噪声分量;单峰性;基于模型的聚类
2020-12-26 stat.ME
Optimality of Spectral Clustering in the Gaussian Mixture Model
ETH Zürich(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
谱聚类是对高维数据进行聚类的一种常用算法。它易于实现,计算效率高。尽管它的流行和成功的应用,它的理论特性还没有得到充分的理解。本文证明了在协协方差阵为各向同性的高斯混合模型中,当聚类数固定且信噪比足够大时,谱聚类是极小极大最优的.谱间隔条件在文献中被广泛假设来分析谱聚类。相反,这些条件是不需要建立本文的谱聚类的最优性。
2020-08-05 cs.LG math.SP math.ST
Clustering based on Mixtures of Sparse Gaussian Processes
Isfahan University of Technology(伊斯法罕理工大学)
创建高维数据集的低维表示是许多机器学习应用中的重要组成部分。如何利用数据的低维嵌入空间进行聚类仍然是机器学习中的一个具有挑战性的问题。在这篇文章中,我们专注于提出一个联合制定聚类和降维。当需要概率模型时,一种可能的解决方案是使用混合模型,其中学习聚类指示符和低维空间。我们的算法是基于稀疏高斯过程的混合,这被称为稀疏高斯过程混合聚类(SGP-MIC)。与现有方法相比,我们的方法的主要优点是,该模型的概率性质比现有的确定性方法提供了更多的优势,构建模型的非线性推广是简单的,并且应用稀疏模型和有效的变分EM近似有助于加快算法。
2023-03-23 cs.LG
Gaussian Processes: A Quick Introduction
高斯过程(Gaussian Processes,GP)本文档的三个部分考虑了用于回归、分类和降维的GP。
2015-08-29 math.ST stat.TH
Stochastic modelling of Gaussian processes by improper linear functionals
随机过程的各种方法存在,注意到关键属性,如可测性和连续性不是平凡的满足。我们引入一个新的理论高斯过程使用不当线性泛函。使用一组身份证。在标准正态变量的基础上,定义了高斯白噪声,并讨论了它的性质。这是推广到一般的高斯过程的希尔伯特空间,其中的方差是允许的任何合适的操作。我们的主要重点是$L^2$空间,我们讨论高斯过程是连续的,在这种设置的标准。最后,我们概述了一个框架,统计推断使用所提出的理论,重点是特殊情况下的$L^2[0,1]$。我们将弗雷德霍姆行列式引入到函数对数似然中。我们证明了朴素函数对数似然与多元似然不一致。引入了一个修正项,并证明了一个渐近结果。
2020-10-14 math.ST stat.ME stat.TH
Parameter estimation for SDEs related to stationary Gaussian processes
本文研究一般平稳高斯场泛函的部分和的中心极限定理和非中心极限定理。我们应用所得结果研究了与平稳高斯过程有关的随机微分方程的漂移参数估计问题。
2015-01-20 math.PR math.ST stat.TH
Gaussian Processes with Sample Paths in Reproducing Kernel Banach Spaces
Lappeenranta-Lahti University of Technology LUT(拉彭兰塔-拉赫蒂理工大学);Technical University of Denmark(丹麦技术大学)
研究高斯过程与再生核巴拿赫空间中高斯随机元之间的联系,通过γ-拉德尼化算子刻画协方差算子对应的正定函数,并将经典Driscoll定理推广到巴拿赫空间。
2026-10-22 math.FA math.PR stat.ML
On spectral clustering under non-isotropic Gaussian mixture models
Kyushu University(九州大学)
研究在非各向同性高斯混合模型下谱聚类算法的误聚类概率,基于主成分得分符号划分数据,并在高维情况下证明聚类一致性。
2026-04-10 math.ST stat.TH
Random Neural Networks in the Infinite Width Limit as Gaussian Processes
Princeton University(普林斯顿大学)
本文给出了一个新的证明,即具有随机权重和偏差的全连接神经网络在输入维度、输出维度和深度保持固定而隐藏层宽度趋于无穷大的情况下收敛于高斯过程。与以前的工作不同,收敛只假设矩条件的权重分布和相当一般的非线性。
2021-07-04 cs.LG math.PR math.ST
Asymptotic properties of the maximum likelihood and cross validation estimators for transformed Gaussian processes
高斯过程协方差参数估计的渐近分析一直是人们研究的热点。然而,这种渐近分析是非常罕见的非高斯过程。本文研究了一类由高斯过程的正则非线性变换得到的非高斯过程。我们提供了增加域渐近性质的(高斯)最大似然和交叉验证估计的协方差参数的非高斯过程的这一类。我们表明,这些估计是一致的,渐近正态的,虽然他们被定义为如果该过程是高斯。它们不需要对非线性变换进行建模或估计。因此,我们的结果可以被解释为(高斯)最大似然和交叉验证对非高斯的鲁棒性。我们的证明依赖于两个技术成果,这是独立的兴趣的空间过程的渐增域渐近文献。首先,我们表明,在温和的假设下,大的协方差阵的逆的系数衰减作为相应的观测位置距离的函数的逆多项式率。其次,我们给出了由变换高斯过程得到的二次型的一般中心极限定理。最后,通过数值模拟说明了我们的渐近结果.
2019-11-25 math.ST stat.TH
A clustering tool for nucleotide sequences using Laplacian Eigenmaps and Gaussian Mixture Models
我们提出了一个新的程序聚类核苷酸序列的基础上的“拉普拉斯特征映射”和高斯混合模型。然后将该建议应用于一组100个DNA序列,这些DNA序列来自扁形动物和线虫属物种的集合的经尿道编码的NADH脱氢酶3(ND3)基因。所得到的集群,然后示出与使用最大似然法计算的基因系统发育树是一致的。这种比较特别表明,由拉普拉斯特征映射与高斯混合模型相结合的方法产生的聚类与遗传学以及NCBI分类学是一致的。我们还为此过程开发了一个Python包,可以在线获得。
2016-10-26 math.ST q-bio.QM stat.TH
Deep Learning Gaussian Processes For Computer Models with Heteroskedastic and High-Dimensional Outputs
深度学习高斯过程(DL-GP)是一种分析(近似)产生异方差和高维输出的计算机模型的方法。计算机仿真模型有许多应用领域,包括社会经济过程、农业、环境、生物、工程和物理问题。通过深度学习执行输入的确定性转换,并通过传统的高斯过程计算预测。我们使用摩托车事故模拟和埃博拉疫情模拟来说明我们的方法。最后,我们总结了未来研究的方向。
2022-09-05 stat.AP
Short-range dependent processes subordinated to the Gaussian may not be strong mixing
有各种各样的弱依赖。例如,强混合。短程相关(SRD)也是弱相关的一种形式。它发生在从属于高斯过程的背景下。如果高斯过程是长程相关的,那么SRD过程是强混合的吗?我们表明,这是不一定的情况下。
2015-08-19 math.PR math.ST stat.TH
Piterbarg's max-discretisation theorem for stationary vector Gaussian processes observed on different grids
在本文中,我们推导出Piterbarg的最大离散定理,考虑两个不同的网格中心平稳向量高斯过程。到目前为止,在这个方向上的文献结果已经得出了联合分布的最大高斯过程在$[0,T]$和网格$ \mathfrak{R}(δ_1(T))=\{kδ_1(T): k=0,1,\cdots\}$。在本文中,我们扩展了最近的研究结果,考虑另外的\bE{maximum}在另一个网格$ \mathfrak{R}(δ_2(T))$。我们通过令$T\to \infty$得到了在不同网格选择下平稳高斯向量过程最大值的联合极限分布。
2014-10-07 math.PR math.ST stat.OT
Cox processes driven by transformed Gaussian processes on linear networks -- A review and new contributions
本文针对线性网络上点过程模型缺乏的问题,提出由变换高斯过程驱动的三类Cox过程模型,并首次给出参数族统计推断方法、模拟算法及度量选择的讨论。
2024-01-15 math.ST stat.TH
On Perfect Classification and Clustering for Gaussian Processes
本文提出了无限维高斯过程的一种基于数据的变换,并推导了它的极限定理。对于一个分类问题,这种变换会导致相关高斯过程之间的完全分离。任何简单分类器的误分类概率,当应用于转换后的数据渐近收敛到零。在使用混合模型的聚类问题中,对该变换的适当修改渐近地导致种群的完美分离。通常的$k$ -均值聚类方法的理论性质进行了研究时,使用这种转换的数据。良好的实证表现,所提出的方法被证明使用模拟以及基准数据集,当与一些流行的参数和非参数方法,这样的功能数据。
2022-03-23 math.ST stat.TH
Gaussian Processes for HRF estimation for BOLD fMRI
我们提出了一种非参数联合估计方法的fMRI任务激活值和血流动力学反应函数(HRF)。HRF被建模为一个高斯过程,使连续评估抖动的范例,并提供在每个点的方差估计。
2017-08-31 stat.AP
Remarks on multivariate Gaussian Process
高斯过程在现代统计学和概率论中占据主导地位,因为它们的重要性和大量强有力的结果。高斯过程的常见用途是与估计,检测和许多统计或机器学习模型相关的问题。随着高斯过程应用的快速发展,有必要巩固向量值随机过程,特别是多元高斯过程的基本理论,这是许多多个相关响应的应用问题的基本理论。本文在向量值函数空间上基于高斯测度给出了多元高斯过程的精确定义,并给出了其存在性证明。此外,还介绍了多元高斯过程的几个基本性质,如严格平稳性和独立性。我们进一步推导了多元布朗运动,包括作为多元高斯过程的一种特殊情况的伊藤引理,并简要介绍了多元高斯过程回归作为多输出预测问题的一种有用的统计学习方法。
2021-02-24 math.PR math.ST stat.TH
Tests of independence for pairs of paths of non-stationary Gaussian processes
Imperial College London(帝国理工学院);Rice University(莱斯大学)
本文为非平稳高斯过程(标准布朗运动与分数布朗运动)路径对的独立性检验提供了理论结果。
2025-10-27 math.PR math.ST stat.TH
Spatial risk measure for gaussian processes
在本文中,我们研究了一个空间风险度量对应于一个损害函数和一个区域,考虑到潜在的过程的空间依赖性的定量行为。在[Koch 2015]中,这种风险度量已经被引入并研究了一些最大稳定过程。本文考虑了各向同性高斯过程和超过阈值的超额损伤函数。我们进行了模拟研究和真实数据研究。
2016-12-30 math.PR math.ST stat.TH
Wavelet estimation of the long memory parameter for Hermite polynomial of Gaussian processes
我们考虑具有长记忆的非高斯平稳过程,并将其表示为高斯过程的Hermite多项式。我们专注于相应的小波系数,并研究其平方和的渐近行为,因为这个总和经常被用来估计长记忆参数。我们表明,限制是不是高斯,但可以表示使用非高斯Rosenblatt过程定义为一个维纳Itô积分的顺序2。即使原始过程是通过高于2阶的Hermite多项式定义的,也会发生这种情况。
2013-06-01 math.ST stat.TH
Some Asymptotic Results of Gaussian Random Fields with Varying Mean Functions and the Associated Processes
本文给出了具有变均值函数的高斯随机场指数函数积分的尾逼近和相应的点过程的逼近。本研究的动机自然是多种应用,如空间模型的假设检验,贝叶斯边际似然分布和贝叶斯因子的研究,以及金融应用。
2011-12-02 math.PR math.ST stat.TH
Clustered Gaussian Graphical Model via Symmetric Convex Clustering
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
神经元功能分组的知识可以揭示神经回路的结构,并且在许多类型的神经影像学研究中是有价值的。然而,通过受控实验准确确定哪些神经元执行类似的神经学任务既劳动密集型又大规模昂贵。因此,以数据驱动的方式将具有相似连接性配置文件的神经元聚类为功能一致的组是非常有趣的。在这项工作中,我们提出了聚类高斯图形模型(GGM)和一个新的对称凸聚类惩罚在一个统一的凸优化框架推断神经元之间的功能集群从神经活动数据。采用可并行化的多块交替方向乘子法(ADMM)算法求解相应的凸优化问题。此外,我们建立的ADMM算法的收敛保证。在合成数据和真实世界神经科学数据上的实验结果证明了我们方法的有效性。
2019-05-30 cs.LG stat.ME stat.ML
Clustering of non-Gaussian data by variational Bayes for normal inverse Gaussian mixture models
Kogakuin University of Technology and Engineering(工学院大学)
有限混合模型,通常是高斯混合,是众所周知的,并广泛用作基于模型的聚类。在实际情况中,有许多非高斯数据是重尾和/或不对称的。正态逆高斯分布是正态方差均值,其混合密度是逆高斯分布,可以用于半尾和非对称性。对于NIG混合模型,期望最大化方法和变分贝叶斯(VB)算法已经被提出。然而,现有的VB算法对NIG混合物的混合密度的形状是有限的缺点。在本文中,我们提出了另一种VB算法的NIG混合,改进的缺点。我们还提出了一个扩展的Dirichlet过程混合模型,以克服在有限混合模型中确定集群的数量的困难。我们用人工数据评估了性能,发现它优于高斯混合和现有的NIG混合实现,特别是对于高度非规范的数据。
2020-09-13 cs.LG stat.ML
Recovery of a mixture of Gaussians by sum-of-norms clustering
University of Waterloo(滑铁卢大学)
范数和聚类是一种使用凸优化将$\mathbb{R}^d$中的$n$点分配给$K$聚类$1\le K\le n$的方法。最近,Panahi et al.证明了在样本数不太大的限制下,范数和聚类保证恢复高斯混合。本说明的目的是取消这一限制,即,结果表明,具有相等权重的范数和聚类可以恢复高斯混合,即使样本数趋于无穷大。我们的证明依赖于一个有趣的特征集群计算的范数和聚类,是由Chiquet等人的凝聚猜想的证明内开发的。因为我们相信这个定理有独立的利益,我们重申和重新证明Chiquet等人。结果在此。
2019-02-19 cs.LG stat.ML
Disentangling to Cluster: Gaussian Mixture Variational Ladder Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
在聚类中,我们通常为每个数据点输出一个聚类变量。然而,情况并不一定是只有一种方法可以将给定的数据集划分为集群组件。例如,人们可以根据颜色或类型对对象进行聚类。不同的属性形成了一个层次结构,我们可以希望在其中任何一个中进行集群。通过将一些数据集的学习潜在表示分解为不同属性的不同层,我们可以在这些潜在空间中进行聚类。我们称之为“解纠缠聚类”。扩展变分梯形自动编码器(Zhao等人,2017),我们提出了一种聚类算法,VLAC,在SVHN的测试集上,它在数字身份的聚类精度上优于高斯混合DGM。我们还展示了学习集群联合在许多层的层次结构的潜在变量的数据,并显示组件明智的生成从这个层次模型。
2019-12-04 cs.LG stat.ML
Clustering Gaussian Graphical Models
University of New Haven(纽黑文大学)
我们推导出一个有效的方法来执行聚类的节点直接从样本数据的高斯图形模型。节点根据其网络邻域的相似性进行聚类,边缘权重由偏相关定义。在有限数据的情况下,协方差矩阵将是秩亏的,我们能够利用矩阵因子,而不需要估计实际的协方差或精度矩阵。我们证明了从人类连接组计划的功能MRI数据的方法。给出了该算法的matlab实现。
2019-10-05 cs.LG stat.ML
An efficient clustering algorithm from the measure of local Gaussian distribution
本文提出了一种基于高斯分布的快速聚类算法$d_s$,该算法可以保证每个聚类中心的距离为给定的参数。该算法的最差运行时间复杂度约为$\sim$ O $(T\times N \times \log(N))$,其中$T$是迭代步骤,$N$是特征数。
2019-10-21 cs.DB cs.LG
Using Gaussian Measures for Efficient Constraint Based Clustering
Montana State University(蒙大拿州立大学)
在本文中,我们提出了一种新的迭代多相聚类技术,有效地聚类高维数据点。为了这个目的,我们实现聚类特征(CF)树上的一个真正的数据集和高斯密度分布约束的CF树。通过在微簇上应用高斯密度分布函数进行后处理,导致先前形成的簇的细化,从而提高它们的质量。该算法还成功地克服了传统的分层聚类方法的固有缺点,如无法撤销对数据点的树状图所做的更改。此外,该算法中应用的约束措施,使这种聚类技术适用于需要驱动的数据分析。我们提供的准确性,我们的索赔评估我们的算法与其他类似的聚类算法。介绍
2014-11-12 cs.IR cs.LG
Clustering Semi-Random Mixtures of Gaussians
Rutgers University(罗格斯大学);Northwestern University(西北大学)
高斯混合模型(GMM)是用于$k$均值聚类问题的最广泛使用的统计模型,并且形成用于机器学习和数据分析中的聚类的流行框架。在本文中,我们提出了一个自然的半随机模型的$k$ -均值聚类,概括了高斯混合模型,我们相信这将是有用的,在确定强大的算法。在我们的模型中,允许半随机对手对从高斯混合模型生成的数据进行任意的“单调”或有益的更改。我们的第一个贡献是一个多项式时间算法,可证明恢复地面真相小分类错误w. h. p.,假设各部件之间有一定的间隔。也许令人惊讶的是,我们分析的算法是流行的劳埃德算法的$k$ -均值聚类,这是在实践中的方法的选择。我们的第二个结果补充了上限,给出了一个几乎匹配的信息理论的下界所产生的任何$k$ -均值聚类算法的半随机模型的误分类点的数量。
2017-11-23 cs.DS cs.LG
Counterfactual Explanations for k-means and Gaussian Clustering
University of Ioannina(约阿尼纳大学)
针对聚类场景缺乏反事实解释的问题,本文提出带合理性与可行性约束的聚类反事实通用定义,分别给出k-means的解析解与高斯聚类的单参数数值解法,经实验验证了方法的有效性。
2025-01-17 cs.LG
Incremental Gaussian Mixture Clustering for Data Streams
University of Cincinnati(辛辛那提大学)
针对超大规模数据流分析需求,提出一种基于熵最小化准则的增量式高斯混合聚类算法,可在流式数据中更新聚类并识别异常点,经多个二维数据集验证有效。
2024-12-10 cs.DB cs.LG
Revisiting Gaussian Neurons for Online Clustering with Unknown Number of Clusters
Norwegian University of Science and Technology(挪威科技大学)
尽管人工神经网络最近取得了成功,但可能需要更多生物学上合理的学习方法来解决反向传播训练模型的弱点,如灾难性遗忘和对抗攻击。虽然这些弱点没有具体解决,一种新的本地学习规则,进行在线聚类的上限,而不是一个固定的集群计数的集群数量。代替使用正交权重或输出激活约束,激活稀疏性通过横向高斯神经元的相互排斥来实现,从而确保多个神经元中心不能占据输入域中的相同位置。在数据样本可以用均值和方差表示的情况下,还提出了一种更新方法来调整高斯神经元的宽度。这些算法应用于MNIST和CIFAR-10数据集,以创建捕获各种大小的像素块的输入模式的过滤器。实验结果表明,在大量的训练样本的学习参数的稳定性。
2022-08-06 cs.CV cs.LG cs.NE