Dynamic Clustering via Asymptotics of the Dependent Dirichlet Process Mixture
MIT(麻省理工学院);Duke University(杜克大学);Ohio State University(俄亥俄州立大学)
本文提出了一种新的算法,依赖Dirichlet过程混合模型(DDPMM)的基础上,包含一个未知数量的演变集群的批量顺序数据的聚类。该算法是通过对DDPMM的Gibbs采样算法进行低方差渐近分析而得出的,并提供了一个具有类似于k-均值算法的收敛保证的硬聚类。移动高斯聚类合成测试和真实ADS-B飞机轨迹数据测试的实证结果表明,该算法需要的计算时间比当代概率和硬聚类算法少几个数量级,同时提供更高的精度检查数据集。
2013-11-01 cs.LG stat.ML
A dependent partition-valued process for multitask clustering and time evolving network modelling
聚类算法的基本目标是划分数据点。我们考虑的任务中发现的分区允许变化与一些协变量,如空间或时间。一种方法是使用碎片凝聚过程,但这些,马尔可夫过程,仅限于线性或树结构的协变量空间。我们使用高斯过程在任意协变量空间上定义了一个分块值过程。我们使用的过程中,构建一个多任务聚类模型,分区数据点以类似的方式在多个数据源,和一个时间序列模型的网络数据,它允许集群分配随时间而变化。我们描述了用于推断的采样算法,并将我们的方法应用于基于不同类型的细胞特征来定义癌症亚型,从多个人群的基因表达数据中找到调控模块,以及发现社交网络中随时间变化的社区结构。
2013-10-31 stat.ML
The Informativeness of K -Means for Learning Mixture Models
National University of Singapore(新加坡国立大学)
混合模型的学习可以看作是一个聚类问题。事实上,给定从混合分布独立生成的数据样本,我们通常希望根据它们从哪个分量分布生成来找到样本的{ \it正确目标聚类}。对于聚类问题,从业者通常选择使用简单的$k$均值算法。$k$ -表示尝试找到{ \it最佳聚类},以最小化每个点与其聚类中心之间的平方和距离。在本文中,我们考虑基本的(即,通过优化平方和距离获得的解决方案(聚类)的信息论)限制。特别是,我们提供了充分的条件,任何最佳的聚类和正确的目标聚类假设的数据样本是从混合球高斯分布生成的接近。我们也将我们的结果推广到对数凹分布。此外,我们还表明,在混合模型上类似甚至更弱的条件下,降维样本的任何最佳聚类也接近正确的目标聚类。这些结果提供了直观的信息$k$ -手段(有和没有降维)作为学习混合模型的算法。
2022-08-25 cs.IT cs.LG math.IT
Clustering dynamics in a class of normalised generalised gamma dependent priors
标准化广义伽玛过程是随机概率测度,其导致广泛用于贝叶斯统计的非参数先验分布,特别是用于混合建模。我们构造了一类由Moran型平稳种群模型诱导的依赖归一化广义Gamma先验,该模型利用了与先验相关的广义Pólya urn方案。我们研究了样本中集群数量的动态的渐近缩放,这反过来又提供了一个动态的措施,在底层人口的多样性。极限形式化为一个正的非平稳扩散过程,它落在众所周知的家庭,无界漂移和入口边界的起源。我们还引入了一类新的平稳正扩散,其不变测度是显式的,并具有幂律尾,弱逼近标度极限。
2016-11-04 math.PR math.ST stat.TH
An agglomerative hierarchical clustering method by optimizing the average silhouette width
University College London(伦敦大学学院)
提出了一种基于平均轮廓宽度(ASW)指标优化的关联度量的凝聚层次聚类(AHC)框架和算法HOSil。为了实现以下三个目标,对各种数据结构的聚类方法和估计指标进行了认真的研究:a)聚类质量,b)聚类恢复,c)聚类数估计。与k-means,PAM,单一,完整,平均,Ward,McQuitty,谱,基于模型和几种估计方法相比,HOSil在一系列人工和真实世界的数据结构中表现出更好的聚类质量。它可以识别各种形状的簇,包括球形的,细长的,相对小尺寸的簇,来自不同分布的簇,包括均匀的,t,伽马等。HOSil已显示出良好的回收率,用于正确确定簇的数目。对于某些数据结构,只有HOSil能够识别正确的簇数。
2019-09-26 cs.LG stat.ME
A Hierarchical Distance-dependent Bayesian Model for Event Coreference Resolution
Cornell University(康奈尔大学)
提出了一种新的基于距离依赖的贝叶斯事件共指消解模型。虽然现有的生成模型的事件共指消解是完全无监督的,我们的模型允许合并事件提及之间的成对距离-信息,被广泛用于监督共指模型,以指导生成聚类处理更好的事件聚类内和跨文件。我们使用一个功能丰富的可学习的距离函数来模拟事件提及之间的距离,并将其编码为贝叶斯先验,用于非参数聚类。在ECB+语料库上的实验表明,我们的模型在文档内和跨文档事件共指消解方面都优于最先进的方法。
2015-09-25 cs.CL stat.ML
A Bayesian alternative to mutual information for the hierarchical clustering of dependent random variables
Department of Computational Neuroscience, University Medical Center Hamburg-Eppendorf, Hamburg University(汉堡大学附属埃彭多夫医学中心计算神经科学系,汉堡大学)
在凝聚层次聚类(AHC)中使用互信息作为相似性度量提出了一个重要问题:需要对变量的维数进行一些校正。在这项工作中,我们制定的决定,合并相关的多元正态变量在AHC程序作为贝叶斯模型比较。我们发现贝叶斯公式自然地将经验协方差阵缩小到先验的矩阵集合(例如,恒等式),提供自动停止规则,并使用一项来校正维数,该项根据变量的维数按比例增加度量。此外,由此产生的对数贝叶斯因子是渐近成比例的互信息的插件估计,与贝叶斯信息标准的协议的维数的添加剂校正。我们研究了这些贝叶斯替代品(精确和渐近形式)的行为,以模拟和真实数据的互信息。一个令人鼓舞的结果首先来自模拟:基于对数贝叶斯因子的层次聚类优于现成的聚类技术,以及原始和归一化的互信息的分类精度。在一个玩具例子中,我们发现贝叶斯方法导致的结果与互信息聚类技术相似,具有自动阈值的优势。在测量大脑活动的真实功能性磁共振成像(fMRI)数据集上,它识别出与标准程序的既定结果一致的聚类。在这个应用中,归一化互信息具有高度非典型的行为,在这个意义上,它系统地支持非常大的集群。这些初步的实验表明,提出的贝叶斯替代互信息是一个有用的新工具,层次聚类。
2015-10-19 cs.LG q-bio.QM stat.ML
Optimal Clustering with Dependent Costs in Bayesian Networks
Queensland University of Technology(昆士兰科技大学);Italian National Research Council(意大利国家研究委员会)
本文提出DCMAP算法,通过依赖成本优化实现贝叶斯网络中最优聚类,有效提升计算效率并减少熵,适用于复杂系统学习。
2025-12-23 cs.DS stat.ML
Beta-Product Poisson-Dirichlet Processes
时间序列数据可以随时间表现出聚类,并且在多个时间序列上下文中,聚类行为可以跨序列而不同。本文的动机是贝叶斯非参数建模的聚类结构之间的依赖性和不同的时间序列的分布。我们遵循Dirichlet过程混合方法,并引入了一类新的多元相关Dirichlet过程(DDP)。建议的DDP表示的向量的棒断裂过程与相关的权重。权重是β随机向量,其确定沿着DDP向量的维度的不同且相关的聚类效应。本文讨论了后验计算的一些理论性质,并给出了一种有效的蒙特卡罗马尔可夫链算法。通过对美国和欧盟工业生产指数的仿真研究和应用,说明了该方法的有效性。
2011-09-22 math.PR math.ST stat.CO
GMM Clustering for In-depth Food Accessibility Pattern Exploration and Prediction Model of Food Demand Behavior
了解粮食银行因粮食不安全而产生的需求动态对于优化运营成本和公平分配粮食至关重要,尤其是在需求不确定的情况下。因此,高斯混合模型(GMM)聚类选择提取模式。新颖之处在于,GMM聚类被应用于确定特定区域粮食不安全的可能原因,了解特定区域粮食援助网络的特点和结构,并进一步利用聚类结果探讨了不确定性食品需求行为的模式及其在库存管理和剩余食品再分配中的重要性,从而建立了一个两阶段的阶段混合食物需求估计模型从食品银行网络在俄亥俄州克利夫兰市获得的数据,和集群开发的研究和可视化。结果表明,该框架能够对食物可及性和援助模式进行深入识别,并利用GMM聚类结果,提高了统计和机器学习算法的预测精度。此外,根据不同层次的规划实施拟议的案例研究框架,取得了实际成果,使各规划小组感到非常轻松和舒适。
2022-02-03 stat.AP
Co-clustering of time-dependent data via Shape Invariant Model
多变量时变数据,其中多个特征随时间被观察到的一组个人,在许多应用领域中越来越普遍。为了对这些数据进行建模,我们需要考虑时间和变量之间的关系,同时还要考虑受试者的异质性。我们提出了一种新的共同聚类方法,用于聚类的个人和变量,同时旨在处理功能和纵向数据。我们的方法借用了一些概念,从曲线配准框架中嵌入形状不变模型的潜在块模型,估计通过一个适当的修改SEM-Gibbs算法。由此产生的程序允许几个用户定义的规格的概念集群,可以选择实质性的理由,并提供了简约的总结复杂的纵向或功能数据的数据矩阵划分成同质块。
2021-04-07 stat.ME
Model-based clustering of time-dependent observations with common structural changes
提出一种基于模型的时间序列聚类方法,通过随机阶数的潜在表示将结构变化时间相同的观测归为一类,可结合多种时间依赖模型,并应用于欧盟国家COVID-19传播的结构变化聚类。
2024-10-12 stat.ME
On clustering financial time series: a need for distances between dependent random variables
以下工作文件总结了我们在金融时间序列分组方面的工作。它是为一个关于信息几何及其在图像和信号处理中的应用的研讨会而写的。这次研讨会汇集了几位纯数学和应用数学专家以及来自医学成像、雷达信号处理和金融的应用研究人员。提交人属于后一类。本文档是一个很长的介绍,介绍了几何工具在金融应用中的进一步发展,如风险或投资组合分析。事实上,风险和投资组合分析基本上依赖于协方差矩阵。除了已知高斯假设是不准确的之外,协方差矩阵很难从经验数据中估计。为了从经验估计中滤除噪声,Mantegna提出使用分层聚类。在这项工作中,我们首先表明,这一过程是统计上一致的。然后,我们建议使用聚类与更广泛的应用比过滤的经验协方差矩阵的估计相关系数。为了做到这一点,我们需要获得金融时间序列之间的距离,这些时间序列包含了这些交叉依赖随机过程中的所有可用信息。
2016-03-25 q-fin.ST stat.ME
Directionally Dependent Multi-View Clustering Using Copula Model
在最近的生物医学科学问题中,它是一个基本问题,从多个数据集的数据源集成聚类的对象集。这些问题大多在基因组学中遇到,其中数据是从各种来源收集的,通常代表不同但互补的信息。集成这些数据源进行多源聚类具有挑战性,因为它们具有复杂的依赖结构,包括方向依赖。特别是在基因组学研究中,已知DNA表达、DNA甲基化和RNA表达之间存在一定的方向依赖性,被广泛称为中心法则。大多数现有的多视图聚类方法要么假设一个独立的结构或成对(无方向)的依赖关系,从而忽略了方向关系。基于此,我们提出了一种基于Copula的多视图聚类模型,其中Copula使模型能够适应数据集中存在的方向依赖性。我们进行了一个模拟实验,其中模拟数据集表现出固有的方向依赖性:事实证明,忽略方向依赖性会对聚类性能产生负面影响。作为一个实际应用,我们将我们的模型应用于从癌症基因组Altas(TCGA)收集的乳腺癌肿瘤样本。
2020-08-22 q-bio.GN stat.AP stat.ME
High-dimensional variable clustering based on maxima of a weakly dependent random process
本文提出渐近独立块(AI-block)模型用于高维变量聚类,无需预设聚类数即可恢复聚类结构,并给出算法一致性理论保证及数据驱动的参数选择方法,在神经科学与环境数据上验证了其有效性。
2024-07-04 math.ST stat.ME stat.ML