Model Selection for Maternal Hypertensive Disorders with Symmetric Hierarchical Dirichlet Processes
Singapore Institute for Clinical Sciences (SICS), Agency for Science, Technology and Research (A*STAR)(新加坡临床科学研究所(SICS),科学技术研究局(A*STAR));Department of Decision Sciences and BIDSA, Bocconi University(博科尼大学决策科学与BIDSA系)
本文提出了一种基于对称分层狄利克雷过程的贝叶斯非参数方法,用于妊娠高血压疾病的模型选择和心脏功能分析。
2022-07-24 stat.AP stat.ME
Shared Differential Clustering across Single-cell RNA Sequencing Datasets with the Hierarchical Dirichlet Process
针对单细胞RNA测序数据分析受数据收集问题与偏差影响的难题,本研究构建集成贝叶斯模型同时处理归一化、插补、批次效应并跨数据集非参数聚类细胞,还开发了基于HDP有限维近似的Gibbs采样器用于后验推断。
2023-12-13 q-bio.GN stat.ME
Borrowing strengh in hierarchical Bayes: Posterior concentration of the Dirichlet base measure
University of Michigan(密歇根大学)
本文研究了Dirichlet测度的基概率测度在给定采样Dirichlet过程的观测值时,当观测值个数趋于无穷大时的后验集中性态.基础测量本身被赋予另一个狄利克雷先验,一种被称为分层狄利克雷过程的构造(Teh等人[J. Amer. Statist. 101(2006)1566-1581])。收敛速度是在传输距离中建立的(即,Wasserstein度量)在各种条件下对真基测度的支持几何的研究。作为该理论的结果,我们证明了在多组数据的推断中“借用力量”的好处-这是一种经常被用来激励分层建模的强大洞察力。在某些设置中,由于潜在的层次结构,效率的增益可以是显著的,从标准的非参数速率提高到参数的收敛速率。开发的工具包括运输距离的非参数贝叶斯层次的随机措施,存在的狄利克雷措施的测试,和几何性质的支持狄利克雷措施。
2016-03-24 cs.LG math.PR math.ST
Dirichlet Posterior Sampling with Truncated Multinomial Likelihoods
我们考虑的问题,从后验分布下形成的Dirichlet先验和截断多项式似然,我们的意思是一个多项式似然函数,我们的条件下,一个或多个计数为零的先验。对该后验分布进行采样在基于狄利克雷分布或狄利克雷过程的分层贝叶斯模型的推理算法中是有意义的,特别是分层狄利克雷过程隐半马尔可夫模型的吉布斯抽样算法。我们提供了一个数据增强采样算法,易于实现,快速混合和执行,并易于扩展到许多维度。我们证明了该算法的优势,一个通用的大都市黑斯廷斯抽样算法在几个数值实验。
2012-09-03 stat.ME
Dynamic Hierarchical Dirichlet Process for Abnormal Behaviour Detection in Video
本文提出了一种新的动态分层Dirichlet过程主题模型,考虑连续观测之间的依赖性。传统的后验推理算法需要对整个数据进行多次处理。对于海量或连续的数据,它在计算上是难以处理的。我们设计了基于吉布斯抽样的批量和在线推理算法。它允许处理连续数据,通过新的观察增量更新模型。该模型被应用于视频序列中的异常行为检测。提出了一种新的异常性度量方法。将该方法与基于非动态分层Dirichlet过程的方法进行了比较,并推导了基于非动态分层Dirichlet过程的在线Gibbs采样器和异常测度。与合成和真实数据的结果表明,在主题模型中的动态考虑提高了异常行为检测的分类性能。
2016-06-27 stat.ML
Nested Dirichlet Process For Population Size Estimation From Multi-list Recapture Data
当捕获模式随时间和地点而不同时,响应模式的异质性在从多个再捕获数据估计封闭种群的大小时是重要的。在本文中,我们将Manrique-Vallier(2016)提出的多重捕获数据的非参数单层潜在类模型扩展为嵌套潜在类模型,第一层建模个体异质性,第二层建模位置-时间差异。具有相似记录模式的位置-时间组在相同的顶层潜在类中,并且每个顶层类中的个体是依赖的。嵌套潜在类模型将层次异质性纳入建模,以估计人口规模从多列表重捕获数据。这种方法导致更准确的人口规模估计和减少不确定性。我们将该方法应用于估计叙利亚冲突造成的伤亡。
2020-07-13 stat.AP stat.ME
Hierarchical Multinomial-Dirichlet model for the estimation of conditional probability tables
我们提出了一种新的方法来估计条件概率表,根据一个联合,而不是独立的,属于同一表的条件分布的估计。我们推导出精确的解析表达式的估计,我们分析和模拟他们的属性。然后,我们将此方法应用于贝叶斯网络中的参数估计。给定网络的结构,所提出的方法更好地估计联合分布,并显着提高了分类性能相对于传统的方法。
2017-08-23 stat.ML
Probabilistic Trajectory Segmentation by Means of Hierarchical Dirichlet Process Switching Linear Dynamical Systems
Technische Universität Darmstadt(达姆施塔特工业大学)
使用运动基元库是使机器人能够解决更复杂任务的有效手段。为了建立这些运动库,目前的算法需要事先分割的演示轨迹。一种有前途的方法是将轨迹建模为由一组切换线性动态系统生成,并通过检查切换动态特征的过渡点来推断有意义的分割。关于学习,采用非参数贝叶斯方法,利用吉布斯采样器。
2020-03-01 cs.LG cs.RO stat.ML
Learning discrete Bayesian networks with hierarchical Dirichlet shrinkage
Gladstone Institute of Data Science and Biotechnology(格拉德斯通数据科学与生物技术研究所);Duke University(杜克大学)
本文提出一种层次模型用于节点-父条件概率,通过后验诱导收缩低维潜在参数,结合Gibbs采样和Metropolis调整 Langevin 算法进行高效采样,并通过模拟验证方法在稀疏计数、图结构发现和竞争DAG选择中的性能,应用于乳腺癌预后网络结构分析。
2026-08-25 stat.ME stat.ML
Exact slice sampler for Hierarchical Dirichlet Processes
我们提出了一种用于分层狄利克雷过程(HDP)及其相关混合模型的精确切片采样器(Teh等人,2006年)。虽然有现有的MCMC算法的采样从HDP,切片采样器已失踪的文献。切片采样以其理想的特性而闻名,包括其快速混合和其自然的并行化潜力。另一方面,HDPs的分层性质对采用成熟的切片采样器提出了挑战,该采样器自动截断所有涉及的无限测量而无需特别修改。在这项工作中,我们采用贝叶斯变量增强的强大思想来应对这一挑战。通过引入新的隐变量,我们得到了适合于切片抽样的联合分布的全因子分解。我们的算法有几个吸引人的特点,如(1)快速混合;(2)保持精确,同时允许自然截断的基础无限维措施,如(Kalli等人,2011),导致在每次迭代中仅更新有限数量的必要原子和权重;以及(3)自然地适合于并行实现。全似然联合因子分解的基本原理很简单,可以应用于许多其他设置,例如为一般相关Dirichlet过程(DDP)模型设计采样算法。
2019-03-21 cs.LG stat.CO stat.ML
Flexible clustering via hidden hierarchical Dirichlet priors
贝叶斯推理方法的突出之处在于,它自然地允许跨异质群体借用信息,不同的样本可能共享相同的分布。一个流行的贝叶斯非参数模型聚类概率分布是嵌套狄利克雷过程,然而,它有一个缺点,分组分布在一个单一的集群时,观察到的领带跨样本。为了实现一个灵活和有效的聚类方法的样本和观察的目标,我们调查了一个非参数先验,出现作为两个不同的离散随机结构的组成,并推导出一个封闭形式的表达式的诱导分布的随机分区,基本工具调节模型的聚类行为。一方面,这允许更深入地了解模型的理论特性,另一方面,它产生用于评估感兴趣的贝叶斯推断的MCMC算法。此外,我们挑出这种算法的局限性时,与两个以上的人口,因此,设计一种替代更有效的抽样方案,作为一个副产品,允许测试不同人群之间的同质性。最后,我们进行了比较与嵌套狄利克雷过程,并提供说明性的例子,合成和真实的数据。
2022-01-18 math.ST stat.ME stat.TH
The Hierarchical Dirichlet Process Hidden Semi-Markov Model
Massachusetts Institute of Technology(麻省理工学院)
层次狄利克雷过程隐马尔可夫模型(HDP-HMM)作为传统HMM的一种自然贝叶斯非参数扩展,引起了人们极大的兴趣。然而,在许多设置中,HDP-HMM的严格马尔可夫约束是不可取的,特别是如果我们希望学习或编码非几何状态持续时间。我们可以扩展的HDP-HMM捕捉这样的结构,利用显式持续时间的半马尔可夫,这已经在参数设置,允许建设高度可解释的模型,承认自然的先验信息的状态持续时间。在本文中,我们介绍了显式持续时间HDP-HSMM和开发后验抽样算法的有效推理,在直接分配和弱极限近似设置。我们证明了效用的模型和我们的推理方法的合成数据,以及实验上的发言人日记化问题和一个例子,学习莫尔斯电码的模式。
2012-03-15 cs.LG stat.ML
The multivariate Dirichlet-multinomial distribution and its application in forensic genetics to adjust for sub-population effects using the θ-correction
本文讨论Dirichlet-多项分布的多元推广的构造。法医遗传学在DNA混合物的统计分析中的一个例子激发了这种多元扩展的研究。在法医遗传学中,由于人群中的远亲关系而对匹配概率进行的调整通常使用所谓的θ校正。这种校正增加了观察到罕见等位基因多拷贝的概率,从而降低了罕见基因型证据的权重。通过数值算例,说明了利用多变量Dirichlet-多项分布引入θ-修正对证据权的影响。此外,我们演示了如何θ-校正可以被纳入马尔可夫结构需要在贝叶斯网络中进行有效的计算。
2014-11-04 math.PR stat.AP
A hierarchical Dirichlet process mixture model for haplotype reconstruction from multi-population data
长期存在的问题是“有多少集群?“仍然是数据挖掘和机器学习社区非常感兴趣的问题,并且在诸如群体基因组数据之类的大型数据集中变得特别突出,其中聚类的数量需要相对较大并且是开放的。这个问题在共同聚类场景中变得更加复杂,在共同聚类场景中,由于存在公共质心(例如,祖先)由集群共享(例如,来自不同多集群样本的可能的血统)(例如,不同的人类亚群)。在本文中,我们提出了一个分层的非参数贝叶斯模型来解决这个问题的背景下,多人口单倍型推断。揭示单核苷酸多态性的单倍型对于许多生物学和医学应用是必不可少的。虽然从多个不同种族的人群中汇集基因型数据是不常见的,但很少有现有的程序明确利用个体种族信息进行单倍型推断。在本文中,我们提出了一个新的单倍型推理程序,Haploi,它利用这些信息,很容易适用于基因型序列与成千上万的SNP从异质性人群,主管,有时优越的速度和准确性相比,国家的最先进的程序。基础单倍型是一种新的单倍型分布模型的基础上的非参数贝叶斯形式主义被称为分层狄利克雷过程,它代表了一个听话的替代合并过程。该模型是可交换的、无界的,能够耦合不同种群的人口统计信息。
2009-08-20 q-bio.GN q-bio.QM stat.AP
Accurate parameter estimation for Bayesian Network Classifiers using Hierarchical Dirichlet Processes
Monash University(莫纳什大学)
本文介绍了一种新的贝叶斯网络分类器(BNC)的概率表的参数估计方法,使用分层Dirichlet过程(HDPs)。本文的主要结果是表明,改进的参数估计允许BNC优于领先的学习方法,如随机森林的0-1损失和RMSE,尽管只是在分类数据集。随着数据资产变得越来越大,进入被大肆宣传的“大”世界,高效准确的分类需要三个主要元素:(1)具有低偏差的分类器,可以捕获大型数据集的细节;(2)可以从数据中学习而不必将其全部保存在主内存中的非核心学习器;(3)可以非常有效地分类新数据的模型。最新的贝叶斯网络分类器(BNC)满足这些要求。它们的偏差可以通过增加图中节点的父节点的数量来容易地控制。它们的结构可以通过有限的数据传递次数在核心之外学习。然而,由于偏差被降低以准确地建模分类任务,因此其参数估计的准确性也降低,因为每个参数都是从不断减少的数据量中估计的。在本文中,我们介绍了使用分层Dirichlet过程的准确BNC参数估计。我们在68个标准数据集上进行了一系列广泛的实验,并证明了我们得到的分类器在预测方面与随机森林非常有竞争力,同时保持了核心外的能力和优越的分类时间。
2018-05-08 cs.LG stat.ML
Hierarchical Bayesian model updating using Dirichlet process mixtures for structural damage localization
The University of Tokyo(东京大学)
本文提出一种基于狄利克雷过程混合的分层贝叶斯模型更新方法,用于结构损伤定位,通过非参数贝叶斯模型实现损伤状态分类,提升FE模型更新的鲁棒性与准确性。
2026-04-24 stat.AP
A Bayesian hierarchical model for related densities using Polya trees
贝叶斯分层模型用于在相关样本之间共享信息,并获得样本水平参数、共同结构和样本间变异的更准确估计。当感兴趣的参数是连续变量的分布或密度时,需要连续分布的分层模型。在文献中已经描述了许多这样的模型,使用狄利克雷过程和相关过程的扩展,通常作为混合核参数的分布。我们提出了一个新的层次模型的基础上的Pólya树,它允许直接建模的密度,并享有一些计算优势的Dirichlet过程。Pólya树还允许对样本之间的变化进行更灵活的建模,提供更明智的收缩,并允许对分散函数进行后验推断,该分散函数量化了样本密度之间的变化。我们还展示了如何将该模型扩展到集群样本的情况下,所观察到的样本被认为是从几个潜在的人口。
2019-06-15 stat.ME
Hierarchical Random Measures without Tables
Luiss University(卢伊斯大学);University of Milano-Bicocca(米兰比可卡大学)
提出一种层次狄利克雷过程的新先验,消除潜在表格变量,实现后验的准共轭分布和高效采样算法,并推广至归一化层次随机测度框架。
2026-06-11 math.PR math.ST stat.ME
Sensitivity Analysis of Priors in the Bayesian Dirichlet Auto-Regressive Moving Average Model
本文通过模拟与标普500行业权重数据,系统评估了五种先验在B-DARMA模型中的表现,发现收缩先验(尤其horseshoe)能抑制过拟合噪声,但无法修复滞后阶数误设,强调正确滞后选择与收缩强度匹配的重要性。
2025-06-18 stat.AP stat.ME
Blocked Gibbs sampler for hierarchical Dirichlet processes
针对 HDP 混合模型后验采样中 CRF 混合差、复杂度高及切片采样器不稳定的问题,提出基于随机测度截断与 gamma 先验的分块 Gibbs 采样器及高效拒绝采样方法。
2024-08-04 stat.CO
Dirichlet Fragmentation Processes
树结构在许多领域的数据中无处不在,许多数据集自然地由未观察到的树结构建模。在本文中,我们首先回顾了随机碎片过程的理论[Bertoin,2006],以及一些现有的建模树的方法,包括流行的嵌套中餐厅过程(nCRP)。然后,我们定义了一类一般的概率分布在树上:Dirichlet碎裂过程(DFP)通过一个新的组合的理论Dirichlet过程和随机碎裂过程。这个DFP呈现出一个断棒构造,并且与nCRP的关系与狄利克雷过程与中国餐馆过程的关系相同。此外,我们开发了一种新的分层混合模型与DFP,并实证比较新的模型在机器学习类似的模型。实验表明,DFP混合模型令人信服地优于现有的国家的最先进的分层聚类和密度建模方法。
2015-09-16 stat.ML
A hierarchical Bayesian approach to record linkage and population size problems
我们提出并说明了一个分层贝叶斯方法匹配的统计记录在不同的场合观察。我们展示了如何在记录链接问题和捕获-再捕获设置,其中有限人口的大小是真正感兴趣的对象,这个模型可以被有利地采用。在拟议的基于模型的方法和目前的记录链接做法之间至少有两个重要的区别。首先,根据实际观察到的分类变量建立统计模型,并且不减少(至0- 1比较)可用信息。第二,模型的分层结构允许参数估计步骤和匹配过程之间的不确定性的双向传播,因此不使用插入式估计,并且在估计总体大小和执行记录链接时都考虑了正确的不确定性。我们通过一个真实的数据例子和模拟来说明和激励我们的建议。
2011-07-28 stat.AP stat.ME
A hierarchical Bayesian approach for estimating the origin of a mixed population
我们提出了一个分层贝叶斯模型来估计源种群的比例贡献一个新成立的殖民地。样本来自殖民地的第一代后代,但交配可能优先发生在来自同一来源种群的移民之间。新建立的殖民地和源种群的基因型被用来估计混合比例,混合比例与可能影响殖民过程的环境和人口因素有关。我们估计了一个单一的层次模型中的交配系数,混合比例,以及环境因素和混合比例之间的回归关系。在新建立的群体中基因型的第一阶段似然性是反映定殖过程的混合多项分布。环境和人口统计数据被纳入模型通过一个分层的先验结构。利用不同水平的群体分化和不同数量的遗传标记对模型进行了模拟研究。我们使用马尔可夫链蒙特卡罗(MCMC)模拟对模型参数的后验分布进行推断。我们将该模型应用到来自苏格兰奥克尼群岛的灰海豹的数据集。我们将我们的模型与以前用于分析这些数据的类似模型进行比较。从模拟和应用到实际数据的结果表明,我们的模型提供了更好的估计协变量的影响。
2008-05-21 stat.AP stat.ME
Auxiliary Variables for Multi-Dirichlet Priors
混合多个狄利克雷先验参数的贝叶斯模型,本文称为多狄利克雷先验(MD),越来越受欢迎。推断混合先验分布的混合权重和参数似乎很棘手,因为Dirichlet参数的总和使模型参数的联合分布复杂化。本文提出了一种新的辅助变量方案,它有助于简化涉及层次MD和MDP模型的推理。使用该方案,很容易推导出完全折叠的推理方案,从而实现有效的推理。
2017-08-17 stat.ML
A probability for classification based on the mixture of Dirichlet process model
在本文中,我们提供了一个明确的概率分布分类的目的。它是从贝叶斯非参数混合狄利克雷过程模型,但适当的修改,删除不适当的方面的分类基于这个模型。由此产生的方法,然后更接近类似于一个经典的层次分组规则,因为它取决于相邻值的平方和。建议的概率模型分类依赖于一个模拟算法,这将是基于一个可逆的MCMC算法来确定的概率,我们提供了数值例子与替代的想法进行分类比较。
2009-05-02 stat.AP
dirichletprocess: An R Package for Fitting Complex Bayesian Nonparametric Models
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);IIT Kanpur(坎普尔印度理工学院)
该研究介绍了一个R包,提供灵活的Dirichlet过程对象,允许用户无需编程即可进行非参数贝叶斯分析,支持自定义模型和MCMC采样。
2026-05-02 stat.CO
The joint distribution of pin-point plant cover data: a reparametrized Dirichlet -- multinomial distribution
介绍了一种重参数化的Dirichlet-多项式分布,给出了协方差矩阵,并给出了计算n个物种概率密度函数的算法。该分布适合于模拟空间聚集的植物物种的针点覆盖数据的联合分布,参数化确保了空间聚集的程度由一个参数模拟,物种的平均覆盖由其他参数模拟。最后一个属性便于在贝叶斯分层模型中使用分布,其中不同物种的平均覆盖率通常被建模为潜在变量。
2020-03-03 q-bio.PE stat.AP
Dirichlet moment tensors and the correspondence between admixture and mixture of product models
University of Chicago(芝加哥大学);Duke University(杜克大学);University of Michigan(密歇根大学)
本文通过动量张量分解,建立了admixture模型与product mixture模型的等价性,从而在更弱的条件下推导了两类模型的可识别性和后验收缩率。
2025-12-19 math.ST stat.TH
Clustering action potential spikes: Insights on the use of overfitted finite mixture models and Dirichlet process mixture models
细胞外记录动作电位的建模,或尖峰分选,是神经科学研究的一个丰富领域,其中潜变量模型经常被使用。两个这样的模型,过拟合有限混合模型(OFM)和Dirichlet过程混合模型(DPM)被认为是提供洞察复杂的,多变量的医疗数据的无监督聚类时,集群的数量是未知的。OFM和OFM以类似的分层方式构建,但它们基于不同的哲学,具有不同的基本假设。本研究探讨了这些差异如何影响穗排序的真实研究,多变量高斯位置-尺度混合模型的估计,在复杂的医疗数据所产生的共同困难的存在。结果提供的见解,让未来的分析师选择适合的情况和目标的研究问题的手的方法。
2016-02-05 stat.AP stat.ME
Multilevel and hierarchical Bayesian modeling of cosmic populations
宇宙人口的人口学研究必须与测量误差和选择效应作斗争。我们调查的一些关键的想法天文学家已经开发出处理这些并发症,在银河系调查和文学Malmquist和爱丁顿偏差的校正的背景下。从现代统计学的角度来看,这种修正在多水平模型的背景下自然出现,特别是在贝叶斯处理这种模型时:分层贝叶斯模型。我们调查了分层贝叶斯模型的一些关键教训,包括收缩估计,这是密切相关的天文学家设计的传统修正。我们描述了一个框架,层次贝叶斯模型的宇宙人口,量身定制的天文调查,是不是典型的调查在其他学科的功能。这种细化的潜在标记点过程框架占选择(检测)和测量之间的联系,在天文调查,治疗选择和测量误差的影响,在一个自洽的方式。
2019-11-27 astro-ph.IM stat.AP
Data Augmentation for Hierarchical Capture-recapture Models
捕获-再捕获研究被广泛用于获取有关动物种群丰度(种群大小或密度)的信息。一种常见的设计是对多个不同的种群进行采样,研究目标是对种群之间种群大小$N_{s}; s=1,2,...,S$的变化进行建模,例如估计处理效应或与景观结构相关的其他变化来源。使用分层模型自然解决了这个问题。我们提供了一个贝叶斯制定这样的模型,使用数据增强保留在模型中的个人遭遇的历史,因此,是适合建模的个人影响。我们通过在所有种群中调节总种群大小来制定模型。在这种情况下,丰度模型可以被公式化为在站点之间分配个体的多项模型。MCMC很容易通过引入分类个体效应$g_{i}$来进行,该效应可划分总群体大小。潜在变量$g$的先验分布来自为群体大小$N_{s}$假设的模型。
2012-11-24 stat.ME
A Bayesian Hierarchical Score for Structure Learning from Related Data Sets
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达莱莫莱人工智能研究所(IDSIA));USI(意大利语区大学);SUPSI(瑞士南部应用科学与艺术大学)
在文献中,用于学习贝叶斯网络结构的得分函数假设数据是一组同质的观测值;然而,通常情况下,它们包括以不同方式收集的不同相关但不同质的数据集。在本文中,我们提出了一个新的贝叶斯Dirichlet分数,我们称之为贝叶斯分层Dirichlet(BHD)。建议的分数是基于一个分层模型,该模型汇集了数据集之间的信息,以学习一个单一的包含网络结构,同时考虑到它们的概率结构的差异。我们推导出一个封闭形式的表达BHD使用变分近似的边际似然,我们研究了相关的计算成本,我们使用模拟数据评估其性能。我们发现,当数据包括多个相关的数据集,BHD优于贝叶斯狄利克雷等效均匀(BDeu)得分重建精度测量的结构汉明距离,它是准确的BDeu数据时,是均匀的。当网络中的变量数量或观测数量很大时,这种改进尤其明显。此外,由于误报弧的数量较少,估计的网络更稀疏,因此比使用BDeu获得的网络更易于解释。
2021-07-17 cs.LG stat.ML
Sparse Bayesian Hierarchical Modeling of High-dimensional Clustering Problems
聚类是微阵列数据分析中最广泛使用的程序之一,例如其目的是基于观察到的不同组织之间遗传标记的异质性来发现癌症亚型。众所周知,在这样的高维环境中,许多噪声变量的存在可以压倒嵌入在高维空间中的少数信号。我们提出了一种新的贝叶斯方法的基础上的Dirichlet过程与稀疏事先,同时进行变量选择和聚类,也发现变量,只区分一个子集的集群组件。与以往的贝叶斯公式,我们使用狄利克雷过程(DP)的样本聚类以及正则化的高维均值/方差结构。为了解决这种双重使用DP带来的计算挑战,我们建议使用嵌入在马尔可夫链蒙特卡罗(MCMC)更新的顺序采样方案,以改善现有算法的DP混合模型的天真实现。我们的方法被证明在一个模拟研究和说明与白血病基因表达数据集。
2009-04-19 stat.CO stat.ME
Bayesian Nonparametric Hidden Semi-Markov Models
层次狄利克雷过程隐马尔可夫模型(HDP-HMM)作为无处不在的隐马尔可夫模型的自然贝叶斯非参数扩展,用于从序列和时间序列数据中学习,引起了人们的极大兴趣。然而,在许多设置中,HDP-HMM的严格马尔可夫约束是不可取的,特别是如果我们希望学习或编码非几何状态持续时间。我们可以扩展的HDP-HMM捕捉这样的结构,利用显式持续时间的半马尔可夫,这主要是在参数频率论的设置,允许建设高度可解释的模型,承认自然的先验信息状态持续时间。在本文中,我们介绍了显式持续时间层次狄利克雷过程隐半马尔可夫模型(HDP-HSMM),并开发了有效的后验推理的采样算法。我们介绍的方法也提供了新的方法在有限贝叶斯HSMM抽样推断。我们的模块化吉布斯抽样方法可以嵌入到更大的分层贝叶斯模型的采样器中,在贝叶斯推断工具箱中添加半马尔可夫链建模作为另一种工具。我们证明了HDP-HSMM和我们的推理方法在合成和真实实验上的实用性。
2012-09-07 stat.AP stat.ME stat.ML
Hierarchical Bayesian state-space modeling of age- and sex-structured wildlife population dynamics
全球生物多样性正在以惊人的速度下降,包括大型野生哺乳动物。因此,必须制定有效的人口保护和恢复战略。种群动力学模型可以深入了解导致某一物种特定种群数量下降的过程及其相对重要性。我们开发了一个综合的贝叶斯状态空间种群动态模型的野生动物种群,并说明它使用topi人口居住在肯尼亚的马赛马拉生态系统。该模型具有通用性,将地面人口调查与航测监测数据相结合。它结合了人口的年龄和性别结构和生活史特征,并将出生率,年龄特定的存活率和性别比与气象协变量,事先人口密度,环境季节性和捕食风险。该模型运行在一个月的时间步长,使生殖季节性,物候,同步和多产的出生和少年招募的准确表征。模型的性能进行了评估,使用平衡的自助抽样和比较预测与空中人口规模估计。该模型采用MCMC方法实现,并再现了马拉托皮人口的几个众所周知的功能,包括惊人的和持续的人口下降,出生和青少年招募的季节性。它可以很容易地适应其他野生动物物种,并扩展到包括几个额外的有用功能。
2021-12-19 stat.AP
Detailed Derivations of Small-Variance Asymptotics for some Hierarchical Bayesian Nonparametric Models
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
本文详细推导了分层狄利克雷过程(HDP)混合模型和HDP隐马尔可夫模型(HDP-HMM,a.k.a.无限HMM)。我们包括推导某些CRP和CRF分区的概率,这是更普遍的兴趣。
2014-12-31 cs.LG stat.ML
Estimating the unobservable moose - converting index to population size using a Bayesian Hierarchical state space model
关于种群大小的间接信息,如颗粒计数或志愿者计数,是大多数生态研究和应用种群管理情况的主要信息来源。通常,这样的观察被当作是对种群规模的实际测量。这种假设导致了关于种群规模及其动态的错误结论。我们提出了一个模型的时间变化的联系,表示可数性,间接观测和实际人口规模之间。我们表明,当间接测量具有高精度(例如许多观察小时)的假设随时间变化的可数性估计的人口动态可能会产生至关重要的影响。我们将该模型应用于瑞典当地的驼鹿种群。估计的人口动态被发现解释30- 50%的总变异的观测数据,因此,可数占大部分的变化。这种估计动态的不可靠性对管理种群的能力有很大的负面影响;例如,减少(增加)需要收获的动物数量,以维持种群高于(低于)固定水平。最后,两个研究区之间的可数性差异很大,这意味着可数性的空间变化很大,这种变化本身就很值得研究。
2016-09-25 stat.AP
The Population Posterior and Bayesian Inference on Streams
许多现代数据分析问题涉及从流数据的推断。然而,流数据不容易服从标准的概率建模方法,它假设我们的条件是有限的数据。我们开发人口变分贝叶斯,一种新的方法,使用贝叶斯建模来分析数据流。它近似于一种新型的分布,即人口后验分布,它将数据的总体分布的概念与概率模型中的贝叶斯推断相结合。我们研究了我们的方法与潜在的Dirichlet分配和Dirichlet过程的混合物在几个大规模的数据集。
2015-07-21 stat.ML
Combining Random Walks and Nonparametric Bayesian Topic Model for Community Detection
几十年来,社区检测一直是一个活跃的研究领域。在所有的概率模型中,随机块模型一直是最流行的一种。提出了一种基于随机游动和分层Dirichlet过程的社区抽取概率模型RW-HDP。在RW-HDP中,在社交网络中进行的随机游动被视为文档;节点被视为单词。通过使用分层狄利克雷过程,一个非参数贝叶斯模型,我们不仅能够聚类节点到不同的社区,而且可以自动确定社区的数量。我们使用随机变分推断为我们的模型推理,这使得我们的方法的时间效率,可以很容易地扩展到一个在线学习算法。
2016-08-03 stat.AP stat.ML
On the design-consistency property of hierarchical Bayes estimators in finite population sampling
当样本量较大时,得到了有限总体均值的分层Bayes估计的一个极限。极限是在普通微积分的意义上,其中样本观测被视为固定量。我们的结果提出了一种简单的方法来纠正分层贝叶斯估计,以实现设计的一致性,一个众所周知的属性在传统的随机化方法,有限总体抽样。我们还提出了三种不同的措施,我们提出的估计的不确定性。
2007-08-14 math.ST stat.TH
A Spatio-Temporal Dirichlet Process Mixture Model on Linear Networks for Crime Data
Yonsei University(延世大学);Seoul National University(首尔大学);University Jaume I(海梅一世大学);Sam Houston State University(山姆休斯顿州立大学)
本文提出了一种基于线性网络的时空Dirichlet过程混合模型,用于分析犯罪事件并识别空间时间聚类,同时探讨聚类中心与城市设施的关系。
2026-01-19 stat.AP
A hierarchical Bayesian approach for population-based structural health monitoring in ship hull structures
Politecnico di Milano(米兰理工大学);National Technical University of Athens(雅典国立技术大学)
针对船体板单元群体中数据稀缺导致的初始过度挠度检测难题,本文提出分层贝叶斯模型,结合有限元数据、MCMC推断与代理似然,实现群体和领域层面的挠度分布推断,并证明其在不确定性量化上更稳健。
2025-10-18 cs.CE stat.AP
A Bayesian hierarchical modeling approach to combining multiple data sources: A case study in size estimation
为了有效防治艾滋病毒/艾滋病流行病,在某些关键人群中采取有针对性的干预措施至关重要。这类关键人群的例子包括性工作者、注射毒品者和男男性行为者。虽然准确估计这些关键人群的规模很重要,但很难直接接触或统计这些人群的成员。因此,使用间接方法来产生规模估计。已经提出了多种方法来估计这类人群的规模,但往往得出相互矛盾的结果。因此,必须有一个原则性的方法来合并和调和这些估计数。为此,我们提出了一个贝叶斯分层模型,估计的大小,结合多个估计从不同的信息来源的关键人群。所提出的模型利用多年的数据,并明确建模所使用的数据源中的系统误差。我们使用该模型来估计在乌克兰注射毒品的人数。我们评估模型的适当性,并比较每个数据源对最终估计的贡献。
2021-07-13 stat.AP
Bayesian hierarchical modelling for inferring genetic interactions in yeast
定量适合度分析(QFA)是一种用于测量微生物种群生长的高通量实验和计算方法。QFA筛选可用于比较查询基因中有突变和无突变的细胞群体的健康状况,以推断全基因组的遗传相互作用强度,检查数千种不同的基因型。我们引入贝叶斯,层次模型的人口增长率和遗传相互作用,更好地反映QFA实验设计比目前的方法。我们的新方法模型种群动力学和遗传相互作用的同时,从而避免通过一个单变量的健身总结模型之间传递信息。更紧密地匹配实验结构,贝叶斯分层方法更有效地使用数据,并在已发布的数据集中找到与酵母端粒相互作用的基因的新证据。
2015-08-14 q-bio.GN q-bio.QM stat.AP
A Bayesian hierarchical small-area population model accounting for data source specific methodologies from American Community Survey, Population Estimates Program, and Decennial Census data
许多流行病学研究都需要小面积的人口估计,但其质量和准确性往往没有得到评估。在美国,美国人口普查局(USCB)以十年一次的人口普查(Decennial Census Counts)、两次人口普查之间的人口预测(Intercensal Population Projections,PEP)和美国社区调查(American Community Survey,ACS)的形式公布小区域的人口估计。虽然这些数据来源之间存在着重要的关系,但在数据收集和处理方法上存在着重要的对比,因此,每一套估计数可能会受到不同来源和误差幅度的影响。此外,由于每个数据源的调查后调整,这些数据源没有报告相同的小地区人口计数。由此产生的小地区疾病/死亡率可能会有所不同,具体取决于用于人口计数的数据源(分母数据)。为了准确地捕捉年度小面积人口计数和相关的不确定性,我们提出了一个贝叶斯人口模型(B-Pop),该模型融合了来自所有三个USCB来源的信息,考虑了数据源特定的方法和相关的误差。我们的框架的主要特点是:1)一个单一的模型集成多个数据源,2)占数据源特定的数据生成机制,并特别占数据源特定的错误,和3)预测的估计数年没有USCB报告的数据。我们的研究集中在佐治亚州的159个县,并产生2005-2021年的估计。
2021-12-18 stat.ME
Posterior distributions for Hierarchical Spike and Slab Indian Buffet processes
贝叶斯非参数分层先验是非常有效的潜在的数据结构展示之间和跨组的信息共享提供灵活的模型。最突出的是分层狄利克雷过程(HDP)及其后续变体,它们模拟了群体之间和群体之间的潜在聚类。HDP可以被视为潜在狄利克雷分配模型(LDA)的更灵活的扩展,并且已经被应用于例如主题建模、自然语言处理和医疗保健中产生的数据集。我们重点关注类似的潜在特征分配模型,其中数据结构对应于多集或无界稀疏矩阵。在这方面的基本发展是分层印度自助餐过程(HIBP),它利用了一个层次的贝塔过程在J组,其中每个组生成二进制随机矩阵,反映组内共享的功能,根据β-伯努利IBP先验。为了涵盖非伯努利扩展的IBP的HIBP版本,我们介绍了层次版本的一般穗和板IBP。我们提供了明确的新的描述的边缘,后验和预测分布的HIBP和它的概括,允许精确的采样和更简单的实际实施。我们强调这些过程的共同结构特性,并建立现有的IBP类型和文献中出现的相关模型的关系。潜在应用的示例可能涉及主题模型、泊松因子分解模型、随机计数矩阵先验和神经网络模型
2021-03-21 math.PR math.ST stat.TH
Approximate hierarchical Bayes small area estimation using NEF-QVF and poststratification
Institute for Social Research–University of Michigan(密歇根大学社会研究所);Department of Mathematics at the University of Maryland College Park(马里兰大学帕克分校数学系)
本文提出一种基于NEF-QVF和后stratification的近似分层贝叶斯方法,用于改进小区域有限总体均值估计,通过结合多源信息提升传统调查估计精度。
2025-05-28 stat.ME
Detecting Jumps on a Tree: a Hierarchical Normalized Stable Process Model for Evolution of Discrete Distributions
Purdue University(普渡大学);University of Melbourne(墨尔本大学)
本文提出一种基于层次化归一化稳定过程和泊松过程的非参数贝叶斯模型,用于检测树上节点分布显著变化的分支,并开发了高效的粒子MCMC算法,在合成与真实数据上验证了有效性。
2026-09-09 stat.ME
Population-aware Hierarchical Bayesian Domain Adaptation
Tandon School of Engineering(坦登工程学院)
人口属性对于理解数据代表谁和精准医疗工作至关重要。即使在疾病感染标签中,患者也可能表现出显著的变异性;在医生办公室报告的“发烧”与在线应用程序报告的“发烧”可能意味着不同的东西,从而排除了针对相同预测任务在不同数据集之间直接学习。这个问题属于域适应范式。然而,迄今为止,这一领域的研究没有考虑到谁产生数据;例如,女性与男性报告的症状也可能有不同的影响。我们提出了一种新的人口意识的领域适应方法,制定的领域适应任务作为一个多源层次贝叶斯框架。该模型通过利用域和群体不变信息,在很大程度上未标记的目标数据的情况下提高了预测。
2018-11-21 cs.LG stat.ML
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering(康科迪亚信息系统工程研究所);Concordia University(康科迪亚大学)
本文提出潜在狄利克雷树分配(LDTA),通过引入树状先验改进LDA,实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
Hierarchical Gaussian Processes for Survey Weighting: Local Equivalent Weights in Structured Populations
Columbia University(哥伦比亚大学)
本研究提出基于分层高斯过程(HGP)回归的调查加权框架,构造结构化总体的局部等价权重,模拟及实际应用显示其在非参数结构下预测误差更低,拓展了调查加权的非参数建模方法。
2026-10-22 stat.ME stat.ML
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent(腾讯);University College Dublin(都柏林大学学院);Trinity College Dublin(都柏林圣三一学院)
针对贝叶斯层次混合聚类(BHMC)高层节点分离度弱的问题,提出对各层节点施加最大间隔约束的后验正则化方法,有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Nonparametric Sparse Tensor Factorization with Hierarchical Gamma Processes
University of Utah(犹他大学)
我们提出了一个稀疏观测张量的非参数因子分解方法。稀疏性并不意味着零值条目是大量的或占优势的。相反,它意味着观察到的条目非常少,随着张量的增长甚至更少;这在实践中是普遍存在的。与已有的工作相比,我们的模型不仅利用了观察到的入口指数的结构信息,而且提供了额外的可解释性和灵活性-它可以同时估计一组关于张量节点内在属性的位置因子,以及另一组反映其与他人互动时的外向活动的社交性因子;用户可以自由选择这两类因素之间的折衷。具体来说,我们使用分层Gamma过程和泊松随机测度来构造一个张量值过程,该过程可以自由地对两种类型的因子进行采样以生成张量,并且始终保证渐近稀疏性。然后,我们规范化张量过程,以获得分层Dirichlet过程采样每个观察到的条目索引,并使用一个高斯过程采样的条目值作为一个非线性函数的因素,以便捕获的稀疏结构属性和复杂的节点关系。为了有效的推理,我们使用Dirichlet过程的有限样本分区,密度变换和随机功能,开发一个随机变分估计算法。我们证明了我们的方法在几个基准数据集的优势。
2021-11-03 cs.LG stat.ML
Choose A Table: Tensor Dirichlet Process Multinomial Mixture Model with Graphs for Passenger Trajectory Clustering
University of Cologne(科隆大学);Arizona State University(亚利桑那州立大学);Tsinghua University(清华大学);McGill University(麦吉尔大学);The Hong Kong University of Science and Technology(香港科技大学);HKUST-GZ(香港科技大学(广州))
本文提出带图张量狄利克雷过程多项混合模型,用于乘客轨迹聚类,可保留出行层次结构并自动确定聚类数目,在香港地铁数据上验证了更优的聚类质量。
2023-10-31 cs.AI cs.LG stat.AP