The Hierarchical Dirichlet Process Hidden Semi-Markov Model
Massachusetts Institute of Technology(麻省理工学院)
层次狄利克雷过程隐马尔可夫模型(HDP-HMM)作为传统HMM的一种自然贝叶斯非参数扩展,引起了人们极大的兴趣。然而,在许多设置中,HDP-HMM的严格马尔可夫约束是不可取的,特别是如果我们希望学习或编码非几何状态持续时间。我们可以扩展的HDP-HMM捕捉这样的结构,利用显式持续时间的半马尔可夫,这已经在参数设置,允许建设高度可解释的模型,承认自然的先验信息的状态持续时间。在本文中,我们介绍了显式持续时间HDP-HSMM和开发后验抽样算法的有效推理,在直接分配和弱极限近似设置。我们证明了效用的模型和我们的推理方法的合成数据,以及实验上的发言人日记化问题和一个例子,学习莫尔斯电码的模式。
2012-03-15 cs.LG stat.ML
Probabilistic Trajectory Segmentation by Means of Hierarchical Dirichlet Process Switching Linear Dynamical Systems
Technische Universität Darmstadt(达姆施塔特工业大学)
使用运动基元库是使机器人能够解决更复杂任务的有效手段。为了建立这些运动库,目前的算法需要事先分割的演示轨迹。一种有前途的方法是将轨迹建模为由一组切换线性动态系统生成,并通过检查切换动态特征的过渡点来推断有意义的分割。关于学习,采用非参数贝叶斯方法,利用吉布斯采样器。
2020-03-01 cs.LG cs.RO stat.ML
The semi-hierarchical Dirichlet Process and its application to clustering homogeneous distributions
评估分布的均匀性是一个老问题,已受到相当大的关注,特别是在非参数贝叶斯文献。为此,我们提出了半分层Dirichlet过程,这是一种新的分层先验,它扩展了Teh et al.(2006)的分层Dirichlet过程,并避免了Camerlenghi et al.(2019 a)最近描述的嵌套过程的退化问题。我们超越了简单的是/否答案的同质性问题,并嵌入在随机分区模型的建议之前,这个过程使我们能够给一个更全面的回答上述问题,事实上,找到群体的内部同质时,我大于或等于2这样的人口被认为是。我们研究的理论性质的半分层Dirichlet过程和贝叶斯因子的齐性检验时,I = 2。广泛的模拟研究和应用教育数据进行了讨论。
2021-06-16 stat.ME
Accurate parameter estimation for Bayesian Network Classifiers using Hierarchical Dirichlet Processes
Monash University(莫纳什大学)
本文介绍了一种新的贝叶斯网络分类器(BNC)的概率表的参数估计方法,使用分层Dirichlet过程(HDPs)。本文的主要结果是表明,改进的参数估计允许BNC优于领先的学习方法,如随机森林的0-1损失和RMSE,尽管只是在分类数据集。随着数据资产变得越来越大,进入被大肆宣传的“大”世界,高效准确的分类需要三个主要元素:(1)具有低偏差的分类器,可以捕获大型数据集的细节;(2)可以从数据中学习而不必将其全部保存在主内存中的非核心学习器;(3)可以非常有效地分类新数据的模型。最新的贝叶斯网络分类器(BNC)满足这些要求。它们的偏差可以通过增加图中节点的父节点的数量来容易地控制。它们的结构可以通过有限的数据传递次数在核心之外学习。然而,由于偏差被降低以准确地建模分类任务,因此其参数估计的准确性也降低,因为每个参数都是从不断减少的数据量中估计的。在本文中,我们介绍了使用分层Dirichlet过程的准确BNC参数估计。我们在68个标准数据集上进行了一系列广泛的实验,并证明了我们得到的分类器在预测方面与随机森林非常有竞争力,同时保持了核心外的能力和优越的分类时间。
2018-05-08 cs.LG stat.ML
Exact slice sampler for Hierarchical Dirichlet Processes
我们提出了一种用于分层狄利克雷过程(HDP)及其相关混合模型的精确切片采样器(Teh等人,2006年)。虽然有现有的MCMC算法的采样从HDP,切片采样器已失踪的文献。切片采样以其理想的特性而闻名,包括其快速混合和其自然的并行化潜力。另一方面,HDPs的分层性质对采用成熟的切片采样器提出了挑战,该采样器自动截断所有涉及的无限测量而无需特别修改。在这项工作中,我们采用贝叶斯变量增强的强大思想来应对这一挑战。通过引入新的隐变量,我们得到了适合于切片抽样的联合分布的全因子分解。我们的算法有几个吸引人的特点,如(1)快速混合;(2)保持精确,同时允许自然截断的基础无限维措施,如(Kalli等人,2011),导致在每次迭代中仅更新有限数量的必要原子和权重;以及(3)自然地适合于并行实现。全似然联合因子分解的基本原理很简单,可以应用于许多其他设置,例如为一般相关Dirichlet过程(DDP)模型设计采样算法。
2019-03-21 cs.LG stat.CO stat.ML
Borrowing strengh in hierarchical Bayes: Posterior concentration of the Dirichlet base measure
University of Michigan(密歇根大学)
本文研究了Dirichlet测度的基概率测度在给定采样Dirichlet过程的观测值时,当观测值个数趋于无穷大时的后验集中性态.基础测量本身被赋予另一个狄利克雷先验,一种被称为分层狄利克雷过程的构造(Teh等人[J. Amer. Statist. 101(2006)1566-1581])。收敛速度是在传输距离中建立的(即,Wasserstein度量)在各种条件下对真基测度的支持几何的研究。作为该理论的结果,我们证明了在多组数据的推断中“借用力量”的好处-这是一种经常被用来激励分层建模的强大洞察力。在某些设置中,由于潜在的层次结构,效率的增益可以是显著的,从标准的非参数速率提高到参数的收敛速率。开发的工具包括运输距离的非参数贝叶斯层次的随机措施,存在的狄利克雷措施的测试,和几何性质的支持狄利克雷措施。
2016-03-24 cs.LG math.PR math.ST
Learning discrete Bayesian networks with hierarchical Dirichlet shrinkage
Gladstone Institute of Data Science and Biotechnology(格拉德斯通数据科学与生物技术研究所);Duke University(杜克大学)
本文提出一种层次模型用于节点-父条件概率,通过后验诱导收缩低维潜在参数,结合Gibbs采样和Metropolis调整 Langevin 算法进行高效采样,并通过模拟验证方法在稀疏计数、图结构发现和竞争DAG选择中的性能,应用于乳腺癌预后网络结构分析。
2026-08-25 stat.ME stat.ML
Bayesian Hierarchical Copula Models with a Dirichlet-Laplace Prior
本文针对金融时间序列聚类提出贝叶斯分层copula模型,采用Dirichlet-Laplace全局-局部收缩先验解决后验不适定问题并刻画聚类间依赖,通过模拟和真实数据验证性能。
2025-02-06 stat.ME
Shared Differential Clustering across Single-cell RNA Sequencing Datasets with the Hierarchical Dirichlet Process
针对单细胞RNA测序数据分析受数据收集问题与偏差影响的难题,本研究构建集成贝叶斯模型同时处理归一化、插补、批次效应并跨数据集非参数聚类细胞,还开发了基于HDP有限维近似的Gibbs采样器用于后验推断。
2023-12-13 q-bio.GN stat.ME
Covariate-dependent hierarchical Dirichlet processes
本文提出一种结合协变量信息的分层贝叶斯非参数模型,用于密度估计和跨组聚类,通过数据增广实现高效推断,并在单细胞测序和钙成像数据上验证了其有效性。
2025-10-27 stat.ME
Modeling population structure under hierarchical Dirichlet processes
我们提出了一个贝叶斯非参数模型来推断人口混合,扩展了分层狄利克雷过程,使基因座之间的相关性,由于连锁不平衡。给定来自个体样本的多位点基因型数据,该模型允许推断将个体分类为未混合的或混合的,推断混合群体的祖先亚群的数量和染色体区域的起源群体。我们的模型不假设任何特定的突变过程,可以应用于大多数常用的遗传标记。我们提出了一个MCMC算法进行后验推理的模型和讨论的方法来总结MCMC输出的人口混合分析。我们证明了所提出的模型在模拟和实际应用中的性能,使用来自EDAR基因的遗传数据,由于众所周知的等位基因频率变化以及整个祖先的表型效应,该基因被认为是祖先信息。该数据集的结构分析导致在欧洲人中鉴定出一种罕见的单倍型。
2015-03-28 stat.AP stat.ME stat.OT
Dirichlet Posterior Sampling with Truncated Multinomial Likelihoods
我们考虑的问题,从后验分布下形成的Dirichlet先验和截断多项式似然,我们的意思是一个多项式似然函数,我们的条件下,一个或多个计数为零的先验。对该后验分布进行采样在基于狄利克雷分布或狄利克雷过程的分层贝叶斯模型的推理算法中是有意义的,特别是分层狄利克雷过程隐半马尔可夫模型的吉布斯抽样算法。我们提供了一个数据增强采样算法,易于实现,快速混合和执行,并易于扩展到许多维度。我们证明了该算法的优势,一个通用的大都市黑斯廷斯抽样算法在几个数值实验。
2012-09-03 stat.ME
Exact and Efficient Parallel Inference for Nonparametric Mixture Models
基于狄利克雷过程的非参数混合模型是有限模型的一个优雅的替代品,当底层组件的数量是未知的,但在这样的模型中的推理可能很慢。在这种模型中并行推理的现有尝试依赖于引入近似,这可能导致后验估计的不准确。在本文中,我们描述了辅助变量表示的狄利克雷过程和分层狄利克雷过程,使我们能够从真正的后验分布的方式进行采样。我们表明,我们的方法允许可扩展的推理,而不会恶化估计质量,伴随着现有的方法。
2012-11-29 stat.ML
A Bayesian Hierarchical Score for Structure Learning from Related Data Sets
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达莱莫莱人工智能研究所(IDSIA));USI(意大利语区大学);SUPSI(瑞士南部应用科学与艺术大学)
在文献中,用于学习贝叶斯网络结构的得分函数假设数据是一组同质的观测值;然而,通常情况下,它们包括以不同方式收集的不同相关但不同质的数据集。在本文中,我们提出了一个新的贝叶斯Dirichlet分数,我们称之为贝叶斯分层Dirichlet(BHD)。建议的分数是基于一个分层模型,该模型汇集了数据集之间的信息,以学习一个单一的包含网络结构,同时考虑到它们的概率结构的差异。我们推导出一个封闭形式的表达BHD使用变分近似的边际似然,我们研究了相关的计算成本,我们使用模拟数据评估其性能。我们发现,当数据包括多个相关的数据集,BHD优于贝叶斯狄利克雷等效均匀(BDeu)得分重建精度测量的结构汉明距离,它是准确的BDeu数据时,是均匀的。当网络中的变量数量或观测数量很大时,这种改进尤其明显。此外,由于误报弧的数量较少,估计的网络更稀疏,因此比使用BDeu获得的网络更易于解释。
2021-07-17 cs.LG stat.ML
Flexible clustering via hidden hierarchical Dirichlet priors
贝叶斯推理方法的突出之处在于,它自然地允许跨异质群体借用信息,不同的样本可能共享相同的分布。一个流行的贝叶斯非参数模型聚类概率分布是嵌套狄利克雷过程,然而,它有一个缺点,分组分布在一个单一的集群时,观察到的领带跨样本。为了实现一个灵活和有效的聚类方法的样本和观察的目标,我们调查了一个非参数先验,出现作为两个不同的离散随机结构的组成,并推导出一个封闭形式的表达式的诱导分布的随机分区,基本工具调节模型的聚类行为。一方面,这允许更深入地了解模型的理论特性,另一方面,它产生用于评估感兴趣的贝叶斯推断的MCMC算法。此外,我们挑出这种算法的局限性时,与两个以上的人口,因此,设计一种替代更有效的抽样方案,作为一个副产品,允许测试不同人群之间的同质性。最后,我们进行了比较与嵌套狄利克雷过程,并提供说明性的例子,合成和真实的数据。
2022-01-18 math.ST stat.ME stat.TH
Detailed Derivations of Small-Variance Asymptotics for some Hierarchical Bayesian Nonparametric Models
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
本文详细推导了分层狄利克雷过程(HDP)混合模型和HDP隐马尔可夫模型(HDP-HMM,a.k.a.无限HMM)。我们包括推导某些CRP和CRF分区的概率,这是更普遍的兴趣。
2014-12-31 cs.LG stat.ML
A hierarchical Dirichlet process mixture model for haplotype reconstruction from multi-population data
长期存在的问题是“有多少集群?“仍然是数据挖掘和机器学习社区非常感兴趣的问题,并且在诸如群体基因组数据之类的大型数据集中变得特别突出,其中聚类的数量需要相对较大并且是开放的。这个问题在共同聚类场景中变得更加复杂,在共同聚类场景中,由于存在公共质心(例如,祖先)由集群共享(例如,来自不同多集群样本的可能的血统)(例如,不同的人类亚群)。在本文中,我们提出了一个分层的非参数贝叶斯模型来解决这个问题的背景下,多人口单倍型推断。揭示单核苷酸多态性的单倍型对于许多生物学和医学应用是必不可少的。虽然从多个不同种族的人群中汇集基因型数据是不常见的,但很少有现有的程序明确利用个体种族信息进行单倍型推断。在本文中,我们提出了一个新的单倍型推理程序,Haploi,它利用这些信息,很容易适用于基因型序列与成千上万的SNP从异质性人群,主管,有时优越的速度和准确性相比,国家的最先进的程序。基础单倍型是一种新的单倍型分布模型的基础上的非参数贝叶斯形式主义被称为分层狄利克雷过程,它代表了一个听话的替代合并过程。该模型是可交换的、无界的,能够耦合不同种群的人口统计信息。
2009-08-20 q-bio.GN q-bio.QM stat.AP
Blocked Gibbs sampler for hierarchical Dirichlet processes
针对 HDP 混合模型后验采样中 CRF 混合差、复杂度高及切片采样器不稳定的问题,提出基于随机测度截断与 gamma 先验的分块 Gibbs 采样器及高效拒绝采样方法。
2024-08-04 stat.CO
Model Selection for Maternal Hypertensive Disorders with Symmetric Hierarchical Dirichlet Processes
Singapore Institute for Clinical Sciences (SICS), Agency for Science, Technology and Research (A*STAR)(新加坡临床科学研究所(SICS),科学技术研究局(A*STAR));Department of Decision Sciences and BIDSA, Bocconi University(博科尼大学决策科学与BIDSA系)
本文提出了一种基于对称分层狄利克雷过程的贝叶斯非参数方法,用于妊娠高血压疾病的模型选择和心脏功能分析。
2022-07-24 stat.AP stat.ME
Hierarchical Random Measures without Tables
Luiss University(卢伊斯大学);University of Milano-Bicocca(米兰比可卡大学)
提出一种层次狄利克雷过程的新先验,消除潜在表格变量,实现后验的准共轭分布和高效采样算法,并推广至归一化层次随机测度框架。
2026-06-11 math.PR math.ST stat.ME
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering(康科迪亚信息系统工程研究所);Concordia University(康科迪亚大学)
本文提出潜在狄利克雷树分配(LDTA),通过引入树状先验改进LDA,实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
Bayesian Nonparametrics in Topic Modeling: A Brief Tutorial
在贝叶斯分层建模中,越来越多地探索使用非参数方法作为增加模型灵活性的一种方式。虽然该领域显示出很大的希望,但许多模型(包括层次狄利克雷过程(HDP))中的推理仍然非常缓慢。一个有前途的路径是利用印度自助过程(IBP)中固有的子模块性,在多项式时间内获得接近最优的解决方案。在这项工作中,我将提出一个关于贝叶斯非参数方法的简短教程,特别是当它们应用于主题建模时。我将展示不同的非参数模型和当前最先进的参数模型,潜在狄利克雷分配(LDA)之间的比较。
2015-01-16 stat.ML
Combining Random Walks and Nonparametric Bayesian Topic Model for Community Detection
几十年来,社区检测一直是一个活跃的研究领域。在所有的概率模型中,随机块模型一直是最流行的一种。提出了一种基于随机游动和分层Dirichlet过程的社区抽取概率模型RW-HDP。在RW-HDP中,在社交网络中进行的随机游动被视为文档;节点被视为单词。通过使用分层狄利克雷过程,一个非参数贝叶斯模型,我们不仅能够聚类节点到不同的社区,而且可以自动确定社区的数量。我们使用随机变分推断为我们的模型推理,这使得我们的方法的时间效率,可以很容易地扩展到一个在线学习算法。
2016-08-03 stat.AP stat.ML
Hierarchical Bayesian model updating using Dirichlet process mixtures for structural damage localization
The University of Tokyo(东京大学)
本文提出一种基于狄利克雷过程混合的分层贝叶斯模型更新方法,用于结构损伤定位,通过非参数贝叶斯模型实现损伤状态分类,提升FE模型更新的鲁棒性与准确性。
2026-04-24 stat.AP
dirichletprocess: An R Package for Fitting Complex Bayesian Nonparametric Models
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);IIT Kanpur(坎普尔印度理工学院)
该研究介绍了一个R包,提供灵活的Dirichlet过程对象,允许用户无需编程即可进行非参数贝叶斯分析,支持自定义模型和MCMC采样。
2026-05-02 stat.CO
Dirichlet moment tensors and the correspondence between admixture and mixture of product models
University of Chicago(芝加哥大学);Duke University(杜克大学);University of Michigan(密歇根大学)
本文通过动量张量分解,建立了admixture模型与product mixture模型的等价性,从而在更弱的条件下推导了两类模型的可识别性和后验收缩率。
2025-12-19 math.ST stat.TH
Nonparametric Sparse Tensor Factorization with Hierarchical Gamma Processes
University of Utah(犹他大学)
我们提出了一个稀疏观测张量的非参数因子分解方法。稀疏性并不意味着零值条目是大量的或占优势的。相反,它意味着观察到的条目非常少,随着张量的增长甚至更少;这在实践中是普遍存在的。与已有的工作相比,我们的模型不仅利用了观察到的入口指数的结构信息,而且提供了额外的可解释性和灵活性-它可以同时估计一组关于张量节点内在属性的位置因子,以及另一组反映其与他人互动时的外向活动的社交性因子;用户可以自由选择这两类因素之间的折衷。具体来说,我们使用分层Gamma过程和泊松随机测度来构造一个张量值过程,该过程可以自由地对两种类型的因子进行采样以生成张量,并且始终保证渐近稀疏性。然后,我们规范化张量过程,以获得分层Dirichlet过程采样每个观察到的条目索引,并使用一个高斯过程采样的条目值作为一个非线性函数的因素,以便捕获的稀疏结构属性和复杂的节点关系。为了有效的推理,我们使用Dirichlet过程的有限样本分区,密度变换和随机功能,开发一个随机变分估计算法。我们证明了我们的方法在几个基准数据集的优势。
2021-11-03 cs.LG stat.ML
A Bayesian hierarchical model for related densities using Polya trees
贝叶斯分层模型用于在相关样本之间共享信息,并获得样本水平参数、共同结构和样本间变异的更准确估计。当感兴趣的参数是连续变量的分布或密度时,需要连续分布的分层模型。在文献中已经描述了许多这样的模型,使用狄利克雷过程和相关过程的扩展,通常作为混合核参数的分布。我们提出了一个新的层次模型的基础上的Pólya树,它允许直接建模的密度,并享有一些计算优势的Dirichlet过程。Pólya树还允许对样本之间的变化进行更灵活的建模,提供更明智的收缩,并允许对分散函数进行后验推断,该分散函数量化了样本密度之间的变化。我们还展示了如何将该模型扩展到集群样本的情况下,所观察到的样本被认为是从几个潜在的人口。
2019-06-15 stat.ME
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent(腾讯);University College Dublin(都柏林大学学院);Trinity College Dublin(都柏林圣三一学院)
针对贝叶斯层次混合聚类(BHMC)高层节点分离度弱的问题,提出对各层节点施加最大间隔约束的后验正则化方法,有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Local-HDP: Interactive Open-Ended 3D Object Categorization in Real-Time Robotic Scenarios
Bernoulli Institute, University of Groningen(格罗宁根大学伯努利研究所)
我们介绍了一个非参数的分层贝叶斯方法的开放式3D对象分类,命名为本地分层狄利克雷过程(本地HDP)。该方法允许智能体增量地学习每个类别的独立主题,并及时适应环境。分层贝叶斯方法,如潜在狄利克雷分配(LDA)可以将低级别的功能转换为高级别的概念主题,用于3D对象分类。然而,基于LDA的方法的效率和准确性取决于手动选择的主题的数量。此外,固定所有类别的主题数量可能会导致模型的过度拟合或欠拟合。相比之下,建议的本地HDP可以自主地确定每个类别的主题的数量。此外,在线变分推理方法已被改编为快速后验近似的局部HDP模型。实验表明,所提出的本地HDP方法优于其他国家的最先进的方法,在准确性,可扩展性和内存效率的大幅度提高。此外,两个机器人实验已经进行了实时的【形】应用程序中所提出的方法的适用性。
2021-04-11 cs.CV stat.ML
The joint distribution of pin-point plant cover data: a reparametrized Dirichlet -- multinomial distribution
介绍了一种重参数化的Dirichlet-多项式分布,给出了协方差矩阵,并给出了计算n个物种概率密度函数的算法。该分布适合于模拟空间聚集的植物物种的针点覆盖数据的联合分布,参数化确保了空间聚集的程度由一个参数模拟,物种的平均覆盖由其他参数模拟。最后一个属性便于在贝叶斯分层模型中使用分布,其中不同物种的平均覆盖率通常被建模为潜在变量。
2020-03-03 q-bio.PE stat.AP
A probability for classification based on the mixture of Dirichlet process model
在本文中,我们提供了一个明确的概率分布分类的目的。它是从贝叶斯非参数混合狄利克雷过程模型,但适当的修改,删除不适当的方面的分类基于这个模型。由此产生的方法,然后更接近类似于一个经典的层次分组规则,因为它取决于相邻值的平方和。建议的概率模型分类依赖于一个模拟算法,这将是基于一个可逆的MCMC算法来确定的概率,我们提供了数值例子与替代的想法进行分类比较。
2009-05-02 stat.AP
Hierarchical mixtures of Unigram models for short text clustering: The role of Beta-Liouville priors
Department of Precision and Regenerative Medicine and Jonian Area (DiMePRe-J)(精准与再生医学系及乔尼亚区);University of Bari Aldo Moro(巴里阿尔多·莫罗大学);Sirio Astronomical Observatory(西里奥天文台);Grotte di Castellana srl(卡斯特尔纳纳洞窟有限公司)
本文针对短文本无监督聚类,提出以 Beta-Liouville 先验替代 Dirichlet 先验的多项式混合模型,并推导 CAVI 及其随机可扩展推断算法,给出超参数选择策略。
2025-04-28 cs.LG stat.CO stat.ML
Bayesian Nonparametric Hidden Semi-Markov Models
层次狄利克雷过程隐马尔可夫模型(HDP-HMM)作为无处不在的隐马尔可夫模型的自然贝叶斯非参数扩展,用于从序列和时间序列数据中学习,引起了人们的极大兴趣。然而,在许多设置中,HDP-HMM的严格马尔可夫约束是不可取的,特别是如果我们希望学习或编码非几何状态持续时间。我们可以扩展的HDP-HMM捕捉这样的结构,利用显式持续时间的半马尔可夫,这主要是在参数频率论的设置,允许建设高度可解释的模型,承认自然的先验信息状态持续时间。在本文中,我们介绍了显式持续时间层次狄利克雷过程隐半马尔可夫模型(HDP-HSMM),并开发了有效的后验推理的采样算法。我们介绍的方法也提供了新的方法在有限贝叶斯HSMM抽样推断。我们的模块化吉布斯抽样方法可以嵌入到更大的分层贝叶斯模型的采样器中,在贝叶斯推断工具箱中添加半马尔可夫链建模作为另一种工具。我们证明了HDP-HSMM和我们的推理方法在合成和真实实验上的实用性。
2012-09-07 stat.AP stat.ME stat.ML
Posterior distributions for Hierarchical Spike and Slab Indian Buffet processes
贝叶斯非参数分层先验是非常有效的潜在的数据结构展示之间和跨组的信息共享提供灵活的模型。最突出的是分层狄利克雷过程(HDP)及其后续变体,它们模拟了群体之间和群体之间的潜在聚类。HDP可以被视为潜在狄利克雷分配模型(LDA)的更灵活的扩展,并且已经被应用于例如主题建模、自然语言处理和医疗保健中产生的数据集。我们重点关注类似的潜在特征分配模型,其中数据结构对应于多集或无界稀疏矩阵。在这方面的基本发展是分层印度自助餐过程(HIBP),它利用了一个层次的贝塔过程在J组,其中每个组生成二进制随机矩阵,反映组内共享的功能,根据β-伯努利IBP先验。为了涵盖非伯努利扩展的IBP的HIBP版本,我们介绍了层次版本的一般穗和板IBP。我们提供了明确的新的描述的边缘,后验和预测分布的HIBP和它的概括,允许精确的采样和更简单的实际实施。我们强调这些过程的共同结构特性,并建立现有的IBP类型和文献中出现的相关模型的关系。潜在应用的示例可能涉及主题模型、泊松因子分解模型、随机计数矩阵先验和神经网络模型
2021-03-21 math.PR math.ST stat.TH
Sensitivity Analysis of Priors in the Bayesian Dirichlet Auto-Regressive Moving Average Model
本文通过模拟与标普500行业权重数据,系统评估了五种先验在B-DARMA模型中的表现,发现收缩先验(尤其horseshoe)能抑制过拟合噪声,但无法修复滞后阶数误设,强调正确滞后选择与收缩强度匹配的重要性。
2025-06-18 stat.AP stat.ME
Sparse Bayesian Hierarchical Modeling of High-dimensional Clustering Problems
聚类是微阵列数据分析中最广泛使用的程序之一,例如其目的是基于观察到的不同组织之间遗传标记的异质性来发现癌症亚型。众所周知,在这样的高维环境中,许多噪声变量的存在可以压倒嵌入在高维空间中的少数信号。我们提出了一种新的贝叶斯方法的基础上的Dirichlet过程与稀疏事先,同时进行变量选择和聚类,也发现变量,只区分一个子集的集群组件。与以往的贝叶斯公式,我们使用狄利克雷过程(DP)的样本聚类以及正则化的高维均值/方差结构。为了解决这种双重使用DP带来的计算挑战,我们建议使用嵌入在马尔可夫链蒙特卡罗(MCMC)更新的顺序采样方案,以改善现有算法的DP混合模型的天真实现。我们的方法被证明在一个模拟研究和说明与白血病基因表达数据集。
2009-04-19 stat.CO stat.ME
Inferring Hierarchical Mixture Structures: A Bayesian Nonparametric Approach
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学);Maynooth University(梅努斯大学)
本文主要研究数据集的层次非重叠聚类问题。在这样的聚类中,每个数据项与恰好一个叶节点相关联,并且每个内部节点与存储在其下的子树中的所有数据项相关联,使得层次结构的每个级别对应于数据集的分区。提出了一种新的贝叶斯非参数方法,该方法结合了嵌套中餐厅过程(nCRP)和分层狄利克雷过程(HDP)。与其他现有的贝叶斯方法相比,我们的解决方案处理的数据与复杂的潜在的混合特征,以前没有在文献中探索。我们讨论的模型和推理过程的细节。此外,在三个数据集上的实验表明,与现有的算法相比,我们的方法取得了坚实的经验结果。
2021-05-25 cs.AI cs.LG stat.ML
Choose A Table: Tensor Dirichlet Process Multinomial Mixture Model with Graphs for Passenger Trajectory Clustering
University of Cologne(科隆大学);Arizona State University(亚利桑那州立大学);Tsinghua University(清华大学);McGill University(麦吉尔大学);The Hong Kong University of Science and Technology(香港科技大学);HKUST-GZ(香港科技大学(广州))
本文提出带图张量狄利克雷过程多项混合模型,用于乘客轨迹聚类,可保留出行层次结构并自动确定聚类数目,在香港地铁数据上验证了更优的聚类质量。
2023-10-31 cs.AI cs.LG stat.AP
Tensor Dirichlet Process Multinomial Mixture Model for Passenger Trajectory Clustering
University of Cologne(科隆大学);Arizona State University(亚利桑那州立大学);Tsinghua University(清华大学);McGill University(麦吉尔大学);The Hong Kong University of Science and Technology(香港科技大学);HKUST (Guangzhou Campus)(香港科技大学(广州校区))
针对乘客行程多维多模态层次结构及聚类数难以预设的问题,提出张量Dirichlet过程多项式混合模型(Tensor-DPMM)及其带图变体,通过张量单步聚类并自动确定簇数,结合坍缩Gibbs采样与解散重定位策略,在香港地铁数据上实现了更优的簇内紧凑度与簇间分离度。
2023-06-23 cs.LG stat.ML
Conditional Hierarchical Bayesian Tucker Decomposition for Genetic Data Analysis
Engineering Sciences and Applied Mathematics(应用数学与工程科学);Industrial Engineering and Management Sciences(工业工程与管理科学);Preventive Medicine (Health and Biomedical Informatics)(预防医学(健康与生物医学信息学))
提出条件分层贝叶斯 Tucker 分解,将 LDA 扩展至多维稀疏遗传计数数据,以识别癌症与孤独症的共同风险因素,并取得优于基线的主题一致性。
2025-08-29 cs.LG stat.ME stat.ML
Gaussian Hierarchical Latent Dirichlet Allocation: Bringing Polysemy Back
Graduate School of Information Science and Technology(信息科学技术研究生院);The University of Tokyo(东京大学)
针对高斯潜在狄利克雷分配无法捕捉一词多义的问题,本文提出高斯分层LDA,通过主题分层结构恢复多义建模能力,并提升主题一致性、预测准确率与表示简约性。
2023-06-07 cs.LG stat.ML
Nonparametric Bayesian Topic Modelling with the Hierarchical Pitman-Yor Processes
The Australian National University(澳大利亚国立大学);Data61/NICTA;Monash University(莫纳什大学);Duke University(杜克大学)
Dirichlet过程及其扩展Pitman-Yor过程是以概率分布为参数的随机过程。这些过程可以堆叠起来形成分层非参数贝叶斯模型。在这篇文章中,我们提出了有效的方法来使用这些过程在这个层次的背景下,并将其应用到文本分析的潜变量模型。特别是,我们提出了一个通用的框架来设计这些贝叶斯模型,这被称为主题模型在计算机科学界。然后,我们提出了一个特定的非参数贝叶斯主题模型从社交媒体的文本建模。我们在这篇文章中关注tweets(Twitter上的帖子),因为它们易于访问。我们发现,我们的非参数模型比现有的参数模型在拟合优度和现实世界中的应用。
2016-09-22 cs.CL cs.LG stat.ML
A Spatio-Temporal Dirichlet Process Mixture Model on Linear Networks for Crime Data
Yonsei University(延世大学);Seoul National University(首尔大学);University Jaume I(海梅一世大学);Sam Houston State University(山姆休斯顿州立大学)
本文提出了一种基于线性网络的时空Dirichlet过程混合模型,用于分析犯罪事件并识别空间时间聚类,同时探讨聚类中心与城市设施的关系。
2026-01-19 stat.AP
Smoothed Hierarchical Dirichlet Process: A Non-Parametric Approach to Constraint Measures
在许多情况下都会出现时变混合密度,例如,出版物中出现的关键词的分布可能会逐年变化,与多个目标相关的视频帧特征可能会按顺序变化。任何实际上迎合这一现象的模型必须表现出两个重要的性质:底层混合密度必须具有未知数量的混合,并且相邻混合密度必须有一些“平滑”约束。传统的分层狄利克雷过程(HDP)可能适合第一个属性,但肯定不是第二个。这是由于较低层次中的每个随机测量如何彼此独立地采样,因此不便于任何时间相关性。为了克服这些缺点,我们提出了一个新的平滑分层Dirichlet过程(sHDP)。该模型的关键新颖之处在于,我们在附近的离散措施$\{G_j\}$之间放置了一个时间约束,其形式为具有固定边界$B$的对称Kullback-Leibler(KL)发散。虽然我们放置的约束只涉及单个标量值,但它允许相应的连续度量的灵活性。值得注意的是,它还使我们推断出断棒过程中的模型,其中断棒过程中使用的传统β分布现在被从$B$计算的新约束所取代。我们提出的推理算法,并阐述其解决方案。我们使用NIPS关键字的实验表明了该模型的良好效果。
2016-04-16 stat.ML
Spectral Methods for Nonparametric Models
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon Web Services(亚马逊云服务)
非参数模型是通用的,虽然计算昂贵,建模混合模型的工具。在本文中,我们介绍了两个最流行的非参数模型的谱方法:印度巴菲特过程(IBP)和分层Dirichlet过程(HDP)。我们表明,使用谱方法的非参数模型的推断计算和统计效率。特别是,我们推导出了IBP和HDP的低阶矩,提出了两种模型的谱算法,并为算法提供了重建保证。对于HDP,我们进一步表明,应用分层模型的数据集与分层结构,可以解决与广义谱HDP,产生更好的解决方案,平面模型的似然性能。
2017-03-31 cs.LG stat.ML
Efficient Parameter Estimation for Bayesian Network Classifiers using Hierarchical Linear Smoothing
Faculty of Information Technology Monash University(信息技术学院莫纳什大学)
提出一种基于对数线性回归的分层线性平滑参数估计方法,使贝叶斯网络分类器在分类数据上性能优于HDP平滑且速度快数个数量级,保持与随机森林相媲美的竞争力。
2025-05-29 cs.LG stat.ML
A Multi-layer Gaussian Process for Motor Symptom Estimation in People with Parkinson's Disease
Ludwig-Maximilians-Universität München(慕尼黑大学);Technical University of Munich(慕尼黑工业大学);Schön Klinik München Schwabing(慕尼黑施瓦宾 Schön 诊所);University of Waterloo(滑铁卢大学)
帕金森病(PD)的评估是一个重大的挑战,因为它受到各种因素的影响,导致复杂和波动的症状表现。因此,频繁和客观的PD评估对于帕金森病(PwP)患者的有效健康管理非常有价值。在这里,我们提出了一种方法来监测PwP随机建模的手腕运动之间的关系,在无脚本的日常活动和相应的注释有关的临床显示的运动异常。我们通过独立建模和分层堆叠高斯过程模型来估计PD运动体征,这些模型用于三类常见的PwP运动异常,包括震颤,(非震颤性)运动迟缓和(非震颤性)运动障碍。我们使用临床上采用的严重性度量作为训练模型的注释,从而使我们的多层高斯过程预测模型不仅可以估计它们的存在,还可以估计它们的严重性。我们的方法的实验验证表明,这些PD注释的模型预测的强一致性。我们的研究结果表明,所提出的方法产生有前途的结果在客观监测的运动异常的PD在任意和未知的自愿运动的存在下,并在家庭环境中的PD的连续监测迈出了重要的一步。
2018-09-27 cs.CY cs.LG stat.ML
Clustering action potential spikes: Insights on the use of overfitted finite mixture models and Dirichlet process mixture models
细胞外记录动作电位的建模,或尖峰分选,是神经科学研究的一个丰富领域,其中潜变量模型经常被使用。两个这样的模型,过拟合有限混合模型(OFM)和Dirichlet过程混合模型(DPM)被认为是提供洞察复杂的,多变量的医疗数据的无监督聚类时,集群的数量是未知的。OFM和OFM以类似的分层方式构建,但它们基于不同的哲学,具有不同的基本假设。本研究探讨了这些差异如何影响穗排序的真实研究,多变量高斯位置-尺度混合模型的估计,在复杂的医疗数据所产生的共同困难的存在。结果提供的见解,让未来的分析师选择适合的情况和目标的研究问题的手的方法。
2016-02-05 stat.AP stat.ME
Kernel Topic Models
Cavendish Laboratory(卡文迪什实验室);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Research(微软研究院)
潜在狄利克雷分配模型离散数据作为离散分布的混合,使用混合权重的狄利克雷信念。我们研究了这个概念的一个变体,其中文档的混合权重信念被替换为压缩的高斯分布。这允许文档与希尔伯特空间的元素相关联,允许内核主题模型(KTM),对文档之间的时间、空间、层次、社交及其他结构进行建模。主要的挑战是有效的近似推理的潜在高斯。我们提出了一个近似算法铸造周围的拉普拉斯近似变换的基础上。KTM还可以被解释为一种高斯过程潜变量模型,或者以文档特征为条件的主题模型,揭示这些领域早期工作之间的联系。
2011-10-21 cs.LG stat.ML
A Split-Merge MCMC Algorithm for the Hierarchical Dirichlet Process
Princeton University(普林斯顿大学)
分层狄利克雷过程(HDP)已成为一个重要的贝叶斯非参数模型的分组数据,如文档集合。HDP用于构建灵活的混合成员模型,其中组件的数量由数据确定。对于大多数贝叶斯非参数模型,精确的后验推断是难以处理的-从业者使用马尔可夫链蒙特卡罗(MCMC)或变分推断。受Dirichlet过程(DP)混合模型的分裂-合并MCMC算法的启发,提出了一种新的HDP后验推理的分裂-合并MCMC采样算法。我们研究了它的合成数据和文本语料库的属性。我们发现,分裂合并MCMC的HDP可以提供显着的改进,传统的吉布斯抽样,我们给一些理解的数据属性,引起更大的改善。
2012-01-08 cs.AI stat.ML
Nested Dirichlet Process For Population Size Estimation From Multi-list Recapture Data
当捕获模式随时间和地点而不同时,响应模式的异质性在从多个再捕获数据估计封闭种群的大小时是重要的。在本文中,我们将Manrique-Vallier(2016)提出的多重捕获数据的非参数单层潜在类模型扩展为嵌套潜在类模型,第一层建模个体异质性,第二层建模位置-时间差异。具有相似记录模式的位置-时间组在相同的顶层潜在类中,并且每个顶层类中的个体是依赖的。嵌套潜在类模型将层次异质性纳入建模,以估计人口规模从多列表重捕获数据。这种方法导致更准确的人口规模估计和减少不确定性。我们将该方法应用于估计叙利亚冲突造成的伤亡。
2020-07-13 stat.AP stat.ME
Hierarchical Infinite Relational Model
Massachusetts Institute of Technology(麻省理工学院)
本文介绍了层次无限关系模型(HALF),一个新的概率生成模型的噪声,稀疏,异构关系数据。给定一组定义在域集合上的关系,该模型首先使用顶级中餐馆过程推断多个不重叠的关系集群。在每个关系集群内,然后使用Dirichlet过程混合来划分域实体并对关系值的概率分布进行建模。该模型概括了标准的无限关系模型,可用于各种数据分析任务,包括依赖检测,聚类和密度估计。我们提出了新的算法完全贝叶斯后验推理通过吉布斯抽样。我们说明了该方法的有效性的密度估计基准的20个对象属性数据集高达18万个细胞,并使用它来发现现实世界的数据集从政治和基因组学的关系结构。
2021-08-16 cs.AI cs.LG stat.ME
Model-Based Hierarchical Clustering
IBM Almaden Research Center(IBM阿尔马登研究中心)
我们提出了一种基于模型的层次聚类方法,通过制定一个基于贝叶斯分析的目标函数。该模型将数据组织到一个集群层次结构中,同时指定一个复杂的特征集分区,这是我们模型的关键组成部分。特征可以在每个集群中具有唯一分布,或者在一些(甚至所有)集群上具有公共分布。这些特征在其上具有这种共同分布的聚类子集对应于表示层次结构的树的节点(聚类)。我们将这个一般模型的问题,我们使用一个多项似然函数和Dirichlet先验的文档聚类。我们的算法包括一个两阶段的过程,其中我们首先执行一个平面聚类,然后是一个修改后的层次凝聚合并过程,包括确定的功能,将有共同的分布在合并后的集群。通过使用边际似然引起的正则化自动确定最佳模型结构,包括聚类的数量、树的深度和要被建模为在每个节点处具有共同分布的特征的子集。我们展示了对合成数据和真实文档集的实验结果。
2013-01-16 cs.AI cs.LG stat.ML