Adaptive Bayesian density estimation using Pitman-Yor or normalized inverse-Gaussian process kernel mixtures
我们考虑贝叶斯非参数密度估计使用Pitman-Yor或归一化逆高斯过程核混合作为密度的先验分布。该程序是从频率论的角度进行研究。使用棒打破皮特曼-约尔过程或表达的有限维分布的归一化逆高斯过程,我们证明了,当数据是从一个无限光滑的密度重复,后验分布集中在任何收缩$L^p$ -范数球,$1\leq p\leq\infty$,周围的采样密度在\emph{nearly parametric}率,对数因子。由此产生的分层贝叶斯过程,与一个固定的前,因此示出是自适应的采样密度的平滑度的无限。
2013-02-13 math.ST stat.TH
Compound random measures and their use in Bayesian nonparametrics
提出了一类新的相依随机测度,我们称之为{ \it复合随机测度},并考虑了在贝叶斯非参数混合模型中使用这些随机测度的归一化形式作为先验.它们的易处理性允许复合随机措施和归一化复合随机措施的属性来推导。特别是,我们展示了如何复合随机措施,可以与伽玛,$σ$稳定和广义伽玛过程边际。我们还推导了拉普拉斯指数的几种形式,并通过Lévy copula和相关函数来描述依赖性。在非参数混合模型中,当混合测度为归一化复合随机测度时,给出了用于后验推断的切片采样器和增广Pólya urn方案采样器,并给出了数据实例.
2015-09-02 stat.ME
Erlang mixture modeling for Poisson process intensities
我们开发了一个先验概率模型的时间泊松过程强度通过结构化的混合Erlang密度与共同的尺度参数,混合的整数形状参数。混合权重通过累积强度函数的增量来构造,该累积强度函数是用伽马过程先验非参数建模的。这样的模型规范提供了一种新颖的扩展的Erlang混合物的密度估计的强度估计设置。先验模型结构支持点过程强度函数的一般形状,并且它还能够有效地处理泊松过程似然归一化项,从而产生有效的后验模拟。进一步阐述了Erlang混合建模方法,以发展空间泊松过程的推理方法。相对于现有的贝叶斯非参数建模方法,包括经验比较高斯过程事先基于模型的方法进行检查,并与合成和真实数据的例子说明。
2021-10-24 stat.ME
DPGLM: A Semiparametric Bayesian GLM with Inhomogeneous Normalized Random Measures
提出一种变权重相依狄利克雷过程模型,扩展半参数广义线性模型,通过非参数先验和指数倾斜实现非齐次随机测度,并验证其有效性与应用。
2025-03-28 stat.ME
Bayesian Nonparametric Erlang Mixture Modeling for Survival Analysis
我们开发了一个灵活的Erlang混合模型用于生存分析。生存密度的模型是从一个结构化的混合厄兰密度,混合上的整数形状参数与一个共同的尺度参数。混合权重通过正实数线上的分布函数的增量来构造,该正实数线被赋予Dirichlet过程先验。该模型具有相对简单的结构,平衡灵活性与有效的后验计算。此外,它意味着一个混合物表示的风险函数,涉及时间依赖的混合权重,从而提供了一个通用的方法来估计风险。我们扩展模型来处理对应于多个实验组的生存响应,使用一个依赖的Dirichlet过程之前的组特定的分布,定义的混合权重。模型的属性,事先规范,和事后模拟进行了讨论,并与合成和真实数据的例子说明了方法。
2022-11-16 stat.ME
Modeling Preferences: A Bayesian Mixture of Finite Mixtures for Rankings and Ratings
排名和评级通常用于表达偏好,但提供不同的补充信息。排名提供有序和无标度比较,但缺乏粒度;评级提供基本和粒度评估,但可能是高度主观或不一致的。由于缺乏原则性的方法,直到最近才联合收集和分析排名和评级。在这项工作中,我们提出了一个灵活的,联合统计模型的排名和评级下的异质偏好:布拉德利-特里-Luce-Binomial(BTL-Binomial)。我们采用贝叶斯混合有限混合物(MFM)的方法来估计异质偏好,了解其固有的不确定性,并作出准确的决定,排名和评级的基础上联合。我们证明了BTL-二项式MFM方法在同行评审和调查数据背景下的真实和模拟数据集上的排名和评级偏好的效率和实用性。
2023-01-23 stat.ME
Exact finite-sample bias, variance, and MSE of normalized scale-invariant inequality indices under Gamma mixture models
Department of Statistics, University of Brasilia(巴西利亚大学统计系);University of Brasilia(巴西利亚大学)
本研究针对Gamma混合模型下的归一化尺度不变不平等指数,推导了估计量的精确有限样本偏差、方差和均方误差公式,并证明其渐近无偏性、强相合性和渐近正态性,为异质总体下的估计提供了统一框架。
2026-10-06 math.PR math.ST stat.ME
Weighted likelihood mixture modeling and model based clustering
在这项工作中,开发了一种加权似然方法的稳健拟合的多元高斯成分的混合。已经提出了两种方法,分别由标准EM和CEM算法的适当修改驱动。在这两种技术中,M步骤通过针对降低离群值的权重的计算来增强。权重是基于皮尔逊残差源于强大的马氏型距离。基于拟合的混合模型,还可以定义用于鲁棒聚类和离群值检测的正式规则。所提出的方法的行为进行了研究,通过一些数值研究和实际数据的例子,在拟合和分类精度和离群值检测。
2018-11-08 stat.ME
Bayesian mixture modeling for multivariate conditional distributions
我们提出了一个贝叶斯混合模型,用于估计一组固定变量条件下的混合有序、名义和连续数据的联合分布。该模型对随机变量使用多元正态和分类混合核。它通过多变量正态混合核和截断局部Dirichlet过程来诱导随机变量和固定变量之间的依赖性。后者鼓励具有相似固定变量值的观测值共享混合分量。使用数据融合的模拟,我们说明,该模型可以估计潜在的关系,在数据和缺失值的分布更准确地比混合模型应用于随机和固定变量联合。我们使用该模型来分析消费者的阅读行为,使用配额样本,即,一个样本,其中一些变量的经验分布是固定的设计,所以不应该被建模为随机的,由图书出版商哈珀柯林斯进行。
2016-07-13 stat.ME
Bayesian Repulsive Mixture Modeling with Matérn Point Processes
Purdue University(普渡大学)
本文提出一种基于马特恩点过程的贝叶斯混合模型,通过引入排斥机制解决聚类重叠问题,并利用吉布斯采样器实现高效后验推断。
2026-02-21 stat.ME
Modeling Bimodal Discrete Data Using Conway-Maxwell-Poisson Mixture Models
在汇总调查数据和用户评分中,当受访者意见不一时,经常可以观察到双峰截断计数分布。它们也出现在删失计数数据中,其中最高类别可能会创建额外的模式。在离散数据中建模双峰行为对于各种目的都很有用,从比较不同样本(或调查问题)的形状到预测新评分者的未来评分。泊松分布是用于拟合计数数据的最常见分布,并且可以被修改以实现截断的泊松分布的混合。然而,它只适合于建模等分散分布,并在其捕获双峰的能力是有限的。Conway-Maxwell-Poisson(CMP)分布是泊松分布的两参数推广,其允许过分散和欠分散。在这项工作中,我们提出了一个混合的CMP捕获范围广泛的截断离散数据,可以表现出单峰和双峰的行为。我们提出了使用EM方法估计两个CMP分布的混合物的参数的方法。我们的方法在M步中引入了一个特殊的两步优化来估计多个参数。我们研究计算和理论问题。使用模拟和真实的例子说明了建模有序评级数据以及截断计数数据的方法。
2014-01-23 stat.ME
Tree-Guided MCMC Inference for Normalized Random Measure Mixture Models
Pohang University of Science and Technology(浦项科技大学)
标准化随机测度(Normalized Random Measures,NRM)是一类离散随机测度,通常用作贝叶斯非参数模型的先验。Dirichlet过程是NRM的一个众所周知的例子。大多数NRM混合模型的后验推理方法依赖于MCMC方法,因为它们易于实现并且其收敛性已经得到了很好的研究。然而,MCMC经常遭受缓慢的收敛时,接受率低。基于树的推理是另一种确定性后验推理方法,其中贝叶斯层次聚类(BHC)或增量贝叶斯层次聚类(IBHC)已分别为DP或NRM混合(NRMM)模型开发。虽然IBHC是NRMM模型后验推理的一种很有前途的方法,因为它的效率和在线推理的适用性,但它的收敛性不能保证,因为它使用了在多次试验后简单地选择最佳解决方案的算法。本文结合MCMC和IBHC的优点,提出了一种NRMM模型的混合推理算法。IBHC构建的树概述了数据的分区,这指导了Metropolis-Hastings程序采用适当的建议。继承MCMC的性质,我们的树引导MCMC(tgMCMC)是保证收敛,并享受快速收敛由于有效的建议指导树。在合成数据集和真实数据集上的实验证明了我们方法的优点。
2015-11-18 cs.LG stat.ML
Autoregressive Density Modeling with the Gaussian Process Mixture Transition Distribution
我们开发了一个混合模型的过渡密度近似,连同软模型选择,在存在噪声和异质非线性动力学。我们的模型建立在高斯混合转移分布(MTD)模型的连续状态空间,扩展组件的意思是使用高斯过程(GP)先验建模的非线性函数。由此产生的模型灵活地捕捉非线性和异构滞后依赖时,几个混合物组件是活跃的,识别低阶非线性依赖,同时推断相关的滞后时,很少的组件是活跃的,并平均在多个和竞争的单滞后模型量化/传播的不确定性。混合权重上的稀疏诱导先验有助于选择活动滞后的子集。分层模型规范遵循GP回归和MTD模型的惯例,允许方便的吉布斯抽样方案进行后验推断。我们证明了两个模拟和两个实时的时间序列,强调滞后依赖的过渡密度和模型选择的近似所提出的模型的属性。在大多数情况下,该模型决定性地恢复了重要特征。该模型提供了一个简单而灵活的框架,保留了MTD模型类的有用和独特的特征。
2020-07-17 stat.ME
Outlier-Robust Multi-Group Gaussian Mixture Modeling with Flexible Group Reassignment
Vienna University of Technology(维也纳工业大学)
本文提出多组高斯混合模型(MG-GMM),用于研究预定义组与统计模型推断的聚类之间的差异,通过灵活的组重新分配和鲁棒性应对异常值。
2026-03-16 stat.ME
Growth Mixture Modeling with Measurement Selection
生长混合模型是研究重复测量数据中群体结构的重要工具。与传统的聚类方法不同,它们显式地对观测的重复测量进行建模,并且它们所基于的统计框架允许使用模型选择方法来选择聚类的数量。然而,基本增长混合模型假设数据中的所有测量都具有分组信息/分离聚类。在其他聚类上下文中,已经表明,在聚类过程中包括非聚类变量可能导致在聚类数量和聚类成员/参数方面对组结构的估计不佳。在本文中,我们提出了一个扩展的增长混合模型,允许纳入逐步变量选择的基础上所做的工作Maugis等。(2009)和Raftery和Dean(2006)。仿真研究结果表明,该方法在正确选择聚类变量和提高恢复的集群结构相比,基本的增长混合模型。本文还提出了一个应用模型的临床研究数据集,并得出结论,在这一领域的未来工作的方向进行了讨论和建议。
2017-10-18 stat.ME
The Poisson-Gaussian Mixture Process: A Flexible and Robust Approach for Non-Gaussian Geostatistical Modeling
针对传统高斯过程难以建模复杂非高斯空间特征的问题,提出POGAMP分层过程并证明其存在性与概率有效性,同时给出离散观测下的MCMC贝叶斯推断算法。
2024-12-06 stat.ME
Modeling and estimating skewed and heavy-tailed populations via unsupervised mixture models
University of Trento(特伦托大学)
研究针对非负重尾数据开发混合模型,核心方法是用对数正态成分和帕累托型尾部建模,通过EM算法估计。贡献是模型完全无监督且灵活,拟合优度相当且更易估计,已在R包lognGPD实现。
2026-07-14 stat.ME
Flexible Mixture Modeling with the Polynomial Gaussian Cluster-Weighted Model
在混合建模框架下,本文提出了多项式高斯聚类加权模型(CWM)。它扩展了线性高斯CWM,二元数据,在一个双重的方式。首先,通过考虑多项式回归,它允许混合成分中可能的非线性依赖性。其次,它不限于用于基于模型的聚类,仅在最一般的基于模型的分类框架中进行上下文化。使用期望最大化算法导出极大似然参数估计,并使用贝叶斯信息准则(BIC)和综合完全似然(ICL)进行模型选择。本文还研究了多项式高斯CWM的成分隶属度的后验概率与其它已建立的相关混合模型的成分隶属度的后验概率相一致的条件,对于这些模型,多项式高斯CWM应用于本文所考虑的人工数据和真实数据时,都显示出优良的聚类和分类结果。
2012-07-04 stat.CO stat.ME
Negative Binomial Process Count and Mixture Modeling
在负二项(NB)过程下,计数和混合建模的看似不相交的问题被统一起来。一个伽玛过程的泊松过程,其归一化提供了一个随机的概率测度的混合建模和其边缘化导致一个NB过程的计数建模的速率测量建模。从NB过程中提取的数据由泊松分布的有限数量的不同原子组成,每个原子与对数分布的数据样本数量相关联。我们揭示了各种计数和混合建模分布之间的关系,并构建了一个连接NB和中国餐厅餐桌分布的泊松对数二元分布。的模型的基本属性的开发,我们得到有效的贝叶斯推断。研究表明,通过增广和归一化,NB过程和γ-NB过程可分别化为Dirichlet过程和分层Dirichlet过程.这些关系突出了NB过程的理论、结构和计算优势。还构造了具有不同共享机制的各种NB过程,包括beta-几何、beta-NB、marked-beta-NB、marked-gamma-NB和零膨胀NB过程。这些模型被应用到主题建模,与现有的算法泊松因子分析下的连接。算例结果表明了同时推断NB色散和概率参数的重要性。
2013-10-13 stat.ME stat.ML
A marginal sampler for $σ$-Stable Poisson-Kingman mixture models
在贝叶斯非参数混合模型的背景下,研究了一类$σ$稳定的Poisson-Kingman随机概率测度(RPM).这是一个大类的离散RPM,其中包括大多数流行的离散RPM中使用的贝叶斯非参数,如Dirichlet过程,Pitman-Yor过程,归一化逆高斯过程和归一化广义Gamma过程。我们展示了如何某些采样特性和边缘特性的$σ$稳定的泊松-金曼RPM可以有效地利用设计一个马尔可夫链蒙特卡罗(MCMC)算法进行推断贝叶斯非参数混合建模。具体来说,我们引入了一种新的和有效的MCMC采样方案在增广空间,有一个固定数量的辅助变量每次迭代。我们应用我们的抽样方案的密度估计和聚类任务的一维和多维数据集,我们比较它对竞争的抽样方案。
2015-09-24 stat.CO stat.ML
Modeling Missing at Random Neuropsychological Test Scores Using a Mixture of Binomial Product Experts
university of washington(华盛顿大学)
本文提出一种基于专家混合模型的方法,用于随机缺失的认知测试分数建模,结合协变量信息进行插补和聚类分析。
2026-02-09 stat.AP stat.ME
The N-ary in the Coal Mine: Avoiding Mixture Model Failure with Proper Validation
本文将二元混合物QSAR验证策略推广到N元混合物,提出考虑共享成分统计依赖性的基线性能方法,防止模型性能被高估,并通过真实与模拟数据案例验证其有效性。
2023-08-11 q-bio.BM stat.ME
Infinite Mixture Models for Improved Modeling of Across-Site Evolutionary Variation
针对跨位点进化变异建模中先验划分难的问题,研究多种无限混合模型并适配高效算法与并行计算,在BEAST X中实现框架,发现不同模型适配不同病毒数据集场景。
2024-12-08 q-bio.PE stat.ME
Is infinity that far? A Bayesian nonparametric perspective of finite mixture models
混合模型是处理异质总体数据时最广泛使用的统计工具之一。本文考虑了长期存在的争论有限的混合物和无限的混合物,并带来了两个建模策略在一起,通过显示,有限的混合物只是一个点过程的实现。在贝叶斯非参数的视角下,我们引入了一类新的先验:归一化独立点过程。我们研究这个新类的概率性质。此外,我们设计了一个有限混合模型的条件算法与一个随机数的组件克服与可逆跳跃计划和最近提出的边际算法的挑战。我们用真实数据说明了我们的模型,并讨论了群体遗传学中的重要应用。
2019-04-22 math.ST stat.CO stat.ME
Training Faster by Separating Modes of Variation in Batch-normalized Models
University of Central Florida(中佛罗里达大学)
批量归一化(BN)对于有效训练最先进的深度卷积神经网络(CNN)至关重要。它在训练过程中使用每个minibatch的统计数据对层的输入进行归一化。在这项工作中,我们研究BN从Fisher核的观点。我们表明,假设一个小批量内的样本是从相同的概率密度函数,那么BN是相同的高斯分布的Fisher向量。这意味着BN可以用从底层数据分布的概率密度函数中自然出现的内核来解释。然而,考虑到CNN架构中采用的整流非线性,输入到层的分布显示出重尾和不对称特性。因此,我们建议用高斯密度的混合而不是一个来近似底层数据分布。推导高斯混合模型(GMM)的Fisher向量,揭示了BN可以通过相对于解纠缠子种群的统计独立地归一化来改善。我们将我们提出的BN的软分段版本称为混合归一化(MN)。通过在CIFAR-10和CIFAR-100上的大量实验,我们证明了MN不仅有效地加速了训练图像分类和生成对抗网络,而且还达到了更高质量的模型。
2018-11-14 cs.CV cs.LG stat.ML
Signal Partitioning Algorithm for Highly Efficient Gaussian Mixture Modeling in Mass Spectrometry
质谱的混合建模是一种具有许多潜在应用的方法,包括峰检测和定量、平滑、去噪、特征提取和光谱信号压缩。然而,现有的算法不允许自动分析整个光谱。因此,尽管突出了肽/蛋白质混合物的质谱的混合物建模的潜在优势和在几篇论文中提出的一些初步结果,混合物建模方法迄今尚未发展到能够与现有的蛋白质组学质谱分析软件包进行系统比较的阶段。在本文中,我们提出了一个有效的算法高斯混合建模的蛋白质组质谱的不同类型(例如,MALDI-ToF分析,MALDI-IMS)。其主要思想是将蛋白质质谱信号自动分割成片段。得到的碎片分别分解成高斯混合模型。然后对碎片混合模型的参数进行聚合,形成整个光谱的混合模型。我们比较详细的算法,现有的峰值检测算法,我们证明了使用高斯混合建模的峰值检测效率的提高。我们还展示了应用程序的详细算法,真正的蛋白质组数据集的低和高分辨率。
2015-02-10 stat.CO
Gaussian mixture modeling of nodes in Bayesian network according to maximal parental cliques
Zhejiang University(浙江大学)
本文用混合高斯模型代替线性高斯模型来拟合贝叶斯网络中每个节点的分布。我们将解释为什么以及如何在贝叶斯网络中使用高斯混合模型。同时,本文提出了一种新的混合模型优化方法--双重迭代算法,该算法结合了期望最大化算法和梯度下降算法,在混合模型的贝叶斯网络上有较好的性能。在实验中,我们在实际数据集上对不同结构的学习算法生成的不同图进行了高斯混合模型和优化算法的测试,并给出了每个实验的细节。
2022-05-16 cs.LG stat.ML
Bayesian Properties of Normalized Maximum Likelihood and its Fast Computation
Yale University(耶鲁大学);University Helsinki(赫尔辛基大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
归一化最大似然(NML)在通用的数据压缩、赌博和预测中提供了极大极小遗憾解,在统计建模和估计的最小描述长度(MDL)方法中起着至关重要的作用。在这里,我们表明,归一化的最大似然有一个类似贝叶斯表示的组件模型的混合物,即使在有限的样本,虽然线性组合的权重可能是积极的和消极的。这种表示部分地解决了MDL和贝叶斯建模之间的关系。该表示具有加速编码和预测应用所需的边缘和条件的计算的优点。
2014-01-28 cs.IT cs.LG math.IT
A Bayesian approach to learning mixtures of nonparametric components
University of Michigan–Ann Arbor(密歇根大学安娜堡分校);University of Texas at Dallas(德克萨斯大学达拉斯分校);AT&T Data Science and AI Research(AT&T数据科学与人工智能研究)
本文提出了一种基于贝叶斯非参数方法的学习框架,用于处理非参数混合成分的有限混合模型,通过高效的MCMC算法实现对复杂概率分布的高效学习。
2026-03-04 math.ST stat.CO stat.ME
Semiparametric inference in mixture models with predictive recursion marginal likelihood
预测递推算法是混合模型中混合密度非参数估计的一种精确且计算效率高的算法。然而,在半参数混合模型中,该算法无法考虑额外的未知结构参数中的任何不确定性。作为现有的配置文件似然方法的替代方案,我们把预测递归作为一个过滤器近似拟合完全贝叶斯模型,从而出现的结构参数的近似边际似然,并可用于推理。我们称之为预测递归边际似然。预测递归下的模型误指定的收敛特性也导致了这个新的过程有吸引力的建设。我们证明了这个边缘似然函数的规范化版本的逐点收敛。仿真结果比较了这种新的边缘似然方法的性能,现有的轮廓似然方法以及Dirichlet过程混合物的密度估计。混合效应模型和经验贝叶斯多重检验应用在时间序列分析也被认为是。
2011-06-16 math.ST stat.ME stat.TH
The statistical Minkowski distances: Closed-form formula for Gaussian Mixture Models
Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室有限公司);Tokyo(东京)
传统的Minkowski距离是由实值向量空间中相应的Minkowski范数导出的。在这项工作中,我们提出了新的统计对称距离的基础上的Minkowski不等式属于Lebesgue空间的概率密度。这些统计Minkowski距离承认封闭形式的公式高斯混合模型时,参数化的整数指数。这个结果扩展到任意混合指数族与自然参数空间是锥:这包括二项式,多项式,零中心拉普拉斯,高斯和Wishart混合,等等。我们还从Minkowski不等式导出了归一化加权概率分布集的Minkowski多样性指数。
2019-01-17 cs.IT cs.LG math.IT
Flexible Mixture Modeling on Constrained Spaces
本文讨论了灵活建模的多模态数据,躺在受约束的空间中的挑战。这类数据通常用于空间应用,如气候学和犯罪学,在这些应用中,测量仅限于一个地理区域。其他设置包括丢弃不合适的记录的域,例如流式细胞术测量。一个简单的方法来建模这样的数据是通过使用混合模型,特别是非参数混合模型。混合模型,而灵活的和理论上很好理解,是不适合的设置涉及复杂的约束,导致难以指定的组件分布和评估归一化常数。贝叶斯推断这些模型的参数的结果在后验分布是双重棘手的。我们通过一个基于拒绝抽样和数据增强的算法来解决这个问题。我们认为样本从一个截尾分布的结果,一个拒绝抽样计划,建议是从一个简单的混合模型,如果他们违反了约束条件,被拒绝。我们的方案通过将被拒绝的样本输入混合参数,然后将所有样本的参数重新输入。我们研究了两种建模方法:截断高斯和截断高斯的混合物,以及相关的马尔可夫链蒙特卡罗采样算法。我们还讨论了模型的变化,以及近似,以改善混合,降低计算成本,降低方差。我们目前的模拟数据的结果,并将我们的算法应用到两个问题,一个涉及流式细胞术的数据,和其他犯罪记录在芝加哥市。
2019-11-30 stat.CO stat.ML
Inference and Mixture Modeling with the Elliptical Gamma Distribution
我们研究了椭圆Γ分布(EGD)的建模和推理。我们考虑EGD散布矩阵的极大似然(ML)估计,为此我们开发了新的定点算法。我们的算法是有效的,收敛到全局最优,尽管非凸性。此外,它们比Kent & Tyler(1991)的著名迭代算法和复杂的流形优化算法都要快得多。随后,我们调用我们的ML算法作为子程序,用于估计混合EGD的参数。我们说明了我们的方法,将它们应用到自然图像统计模型-建议EGD混合模型产生最简约的模型之间的几个竞争的方法。
2015-12-20 math.OC stat.CO stat.ML
Gibbs Sampling for (Coupled) Infinite Mixture Models in the Stick Breaking Representation
非参数贝叶斯方法聚类,信息检索,语言建模和对象识别最近显示出巨大的希望,作为一个新的范例无监督数据分析。大多数的贡献都集中在狄利克雷过程的混合物模型或扩展,有效的吉布斯采样器存在。在本文中,我们探讨吉布斯采样无限复杂的混合模型在棒断裂表示。这种表示的优点是提高了建模的灵活性。例如,人们可以设计集群大小的先验分布,或者在其参数水平上耦合多个无限混合模型(例如,随时间)(即,相关狄利克雷过程模型)。然而,无限混合模型的吉布斯采样器(最近在统计文献中介绍)似乎在集群标签上混合得很差。除其他问题外,这可能会产生不利影响,即耦合混合模型中相同聚类的标签会混淆。我们在这些采样器中引入了额外的移动,以改善集群标签的混合,并使集群保持一致。风暴轨迹建模的应用程序来说明这些想法。
2012-06-27 cs.LG stat.ME stat.ML
On posterior contraction of parameters and interpretability in Bayesian mixture modeling
我们研究的背景下,贝叶斯混合建模,混合组件的数量是未知的,而模型本身可能会或可能不会被正确指定的参数的后验收缩行为。将考虑两种有代表性的先验规范:一种明确要求混合组分的数量上的先验分布,而另一种将混合分布的空间上的非参数先验。前者示出在最小条件下对模型参数产生最优的后验收缩率,而后者可以用来一致地恢复混合物成分的未知数,借助快速的概率后处理过程。然后,我们把这些贝叶斯程序的研究模型误设定的现实设置。它将被证明,核密度函数的建模选择可能起着最有影响力的作用,在错误指定的情况下,在确定后验收缩率。利用本文中建立的具体后验收缩率,我们希望强调一些方面的有趣的权衡模型的表达性和可解释性之间的统计建模必须谈判在丰富的世界的混合建模。
2019-01-15 math.ST stat.TH
Mixture Modeling based Probabilistic Situation Awareness
从概率建模的角度研究了态势感知问题。将态势作为一个隐变量,引入隐马尔可夫模型(HMM)和扩展状态空间模型(ESSM)来数学表达态势的动态演化规律以及态势与可观测量之间的关系。我们使用高斯混合模型(GMM)制定专家知识,这是需要在建立HMM和ESSM。我们表明,ESSM模型是更可取的HMM相比,因为使用ESSM,我们也可以得到一个实时估计的枢轴变量,连接的情况与可观察的量。通过一个威胁监视的仿真实验,验证了两种模型的有效性和效率.
2015-10-07 stat.AP
Normalized random measures driven by increasing additive processes
本文引入并研究了一类新的非参数先验分布。随机概率分布函数的构造是通过增加的加性过程驱动的随机测量的归一化。特别是,我们提出的结果,在先验和后验条件下的手段的分布,并通过使用战略潜变量,进行全面的贝叶斯分析。我们的类先验包括著名的和广泛使用的混合Dirichlet过程。
2005-08-30 math.ST stat.TH
Topic Modeling via Full Dependence Mixtures
Technion, Israel Institute of Technology(以色列理工学院(Technion, Israel Institute of Technology))
在本文中,我们介绍了一种新的主题建模方法,该方法通过使用数据的紧凑表示和利用GPU架构来扩展到大型数据集。在这种方法中,主题直接从语料库的共现数据中学习。特别是,我们介绍了一种新的混合模型,我们称之为全依赖混合(FDM)模型。FDM在数据的一般生成假设下对二阶矩进行建模。虽然有以前的工作主题建模使用二阶矩,我们开发了一个直接的随机优化过程,一个单一的Kullback Leibler目标拟合FDM。矩方法通常具有迭代不再需要随着语料库的大小而缩放的优点。我们的方法使我们能够利用标准的优化器和GPU的主题建模的问题。特别是,我们评估了两个大的数据集,NeurIPS论文和Twitter语料库,大量的主题的方法,并表明该方法的性能优于或优于标准基准。
2020-03-01 cs.IR cs.LG stat.ML
Combinatorial Potential of Random Equations with Mixture Models: Modeling and Simulation
该研究在贝叶斯框架下推导含混合模型参数的随机方程近似解的似然函数与后验密度,实现高效数值计算,揭示其组合复杂度,验证了在多领域的广泛适用性。
2025-07-29 cs.NA math.NA stat.CO
Dynamic modeling of mortality via mixtures of skewed distribution functions
人们对预测死亡率越来越感兴趣。在这篇文章中,我们提出了一种新的动态贝叶斯方法建模和预测的死亡年龄分布,专注于一个狄拉克质量,高斯分布和斜正态分布的三个组成部分的混合物。根据指定的模型,死亡年龄分布的特征是通过与婴儿、成人和老年死亡率的主要方面相对应的七个参数来确定的。所提出的方法侧重于多个国家的连贯建模,并遵循贝叶斯方法进行推理,我们允许跨人群借用信息,并将参数缩小到一个共同的平均水平,隐含地惩罚不同的场景。跨年度的动态建模是通过一个层次的动态先验分布,可以描述每个死亡率组成部分的时间演变,并预测死亡年龄分布。多个国家的实证结果表明,所提出的方法优于流行的方法预测死亡率,提供了可解释的见解的死亡率的演变。
2021-12-17 stat.AP
Fully Automatic Brain Tumor Segmentation using a Normalized Gaussian Bayesian Classifier and 3D Fluid Vector Flow
University of Alberta(阿尔伯塔大学)
从磁共振图像(MRI)分割脑肿瘤是测量肿瘤对治疗的反应的重要任务。然而,自动分割非常具有挑战性。提出了一种基于归一化高斯贝叶斯分类和新的三维流体矢量流(FVF)算法的脑肿瘤自动分割方法。在我们的方法中,归一化高斯混合模型(NGMM)的建议,并用于健康的脑组织建模。利用高斯贝叶斯分类器从测试脑MR图像中获取高斯贝叶斯脑图(GBBM)。进一步处理GBBM以初始化3D FVF算法,该算法分割脑肿瘤。该算法有两个主要贡献。首先,我们提出了一个NGMM模型健康的大脑。其次,我们将我们的2D FVF算法扩展到3D空间,并将其用于脑肿瘤分割。所提出的方法是在一个公开的数据集上进行验证。
2019-05-01 cs.CV cs.LG cs.MM
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia(哥伦比亚国立大学)
相异性混合自动编码器(DMAE)是一种用于基于特征的聚类的神经网络模型,它包含灵活的相异性函数,可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型(DMM),该模型通过将概率重新解释为神经网络表示,将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中,允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估,结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
A non-parametric mixture model for topic modeling over time
一个单一的,固定的主题模型,如潜在的Dirichlet分配是不适合建模语料库,跨越很长的时间段,因为主题的流行程度可能会随着时间的推移而变化。已经提出了一些模型,包括时间,但在一般情况下,他们要么表现出有限的形式的时间变化,或需要计算昂贵的推理方法。在本文中,我们提出了非参数主题随时间变化(npTOT),模型随时间变化的主题,允许无限数量的主题和灵活的分布在这些主题的流行度的时间变化。我们开发了一个崩溃的吉布斯采样建议的模型和现有的模型合成和真实的文档集进行比较。
2012-08-22 stat.ML
Bayesian Modeling and Computation for Analyte Quantification in Complex Mixtures Using Raman Spectroscopy
在这项工作中,我们提出了一个两阶段的算法贝叶斯建模和计算的基础上,旨在量化分析物的浓度或数量的复杂混合物与拉曼光谱。建立了用于光谱信号分析的多层贝叶斯模型,并采用可逆跳马尔可夫链蒙特卡罗(RJMCMC)计算方法进行模型选择和光谱变量估计。处理分两个阶段进行。在第一阶段中,学习目标分析物光谱的峰表示。在第二阶段中,从第一阶段学习的峰值变量用于估计混合物中目标分析物的浓度或量。数值实验验证了它的量化性能在广泛的模拟条件下,并建立了其优势,分析物定量任务下的小训练样本量制度比传统的多元回归算法。我们还使用我们的算法来分析收集的实验自发拉曼光谱数据,用于生物制药过程监测应用中的葡萄糖浓度估计。我们的工作表明,该算法可以成为基于拉曼光谱的混合物定量研究中传统多元回归算法的一个有前途的补充工具,特别是当收集高质量的大型训练数据集具有挑战性或资源密集型时。
2018-05-20 physics.data-an stat.AP
Mortality modeling at old-age: a mixture model approach
本文提出了一种新的方法来建模70岁以上的死亡率,提出了一个基于混合模型。该模型与其他四种广泛使用的模型进行了比较:Beard,Gompertz,Makeham和Perks模型。我们的模型可以捕捉所有年龄段死亡率的复杂行为,提供更准确的数据表示。为了评估模型的性能,我们将其应用于两个数据质量不同的国家:日本和巴西。我们的研究结果表明,该模型优于其他模型在这两个国家,特别是在日本,它获得了一个绝对平均百分比误差小于7%,而其他模型提出的值大于30%。这突出了我们的模型适应不同数据质量和国家特定死亡率模式的能力。总之,本文提出了一种基于混合的模型,该模型捕捉了所有年龄段的死亡率行为,并且在高质量和低质量数据设置中优于其他广泛使用的模型。该模型可以改善死亡率预测并为公共卫生政策提供信息。
2023-01-17 stat.AP stat.OT
Modeling Graph Node Correlations with Neighbor Mixture Models
Tufts University(塔夫茨大学)
我们提出了一个新的模型,邻居混合模型(NMM),在一个图中的节点标签建模。该模型旨在捕获局部邻域中节点标签之间的相关性。我们仔细设计了模型,使其可以替代马尔可夫随机场,但更实惠的计算。特别是,绘制样本和评估单个标签的边际概率可以在线性时间内完成。为了将计算扩展到大型图,我们设计了一个变分近似,而不引入额外的参数。我们进一步使用图神经网络(GNNs)来参数化NMM,这减少了可学习参数的数量,同时允许表达性表示学习。所提出的模型可以直接拟合大型观察图,也可以用于实现可扩展的推理,以保留其他分布(例如深度生成图模型)的相关性。在一组不同的节点分类,图像去噪,和链接预测任务,我们表明我们提出的NMM先进的最先进的建模现实世界的标记图。
2021-04-18 cs.LG stat.ML
A censored mixture model for modeling risk taking
针对实验风险任务中的删失观测、结果吸引力差异及参与者潜在异质性,提出 Censored Mixture Model(CMM)以更准确地建模风险承担。
2020-02-19 stat.AP
Gaussian Mixture Modeling with Gaussian Process Latent Variable Models
密度建模对于高维数据是非常困难的。解决这个问题的一种方法是寻找一个低维流形,它捕获了数据的主要特征。近年来,高斯过程隐变量模型(GPLVM)已被成功地用于在各种复杂数据中寻找低维流形。GPLVM由低维潜在空间中的一组点和到观察空间的随机映射组成。我们展示了它如何可以被解释为在所观察到的空间中的密度模型。然而,GPLVM没有被训练成密度模型,因此产生了糟糕的密度估计。我们提出了一种新的训练策略,并在几个基准数据集的比较评估中获得了更好的泛化性能和更好的密度估计。
2010-07-13 stat.ML
The Dependent Random Measures with Independent Increments in Mixture Models
当观察被组织成组,其中存在共性时,相关随机测量可以是建模的理想选择。相关随机测度的一个命题是,后验分布的原子在组之间共享,因此组可以从彼此借用信息。当采用独立增量的归一化相依随机测度先验时,我们可以导出合适的可交换概率配分函数(EPPF),并由此导出其在任意混合模型似然下的推理算法。我们提供了所有必要的推导和解决方案,这个框架。为了演示,我们使用高斯似然的混合物与由CRM的线性组合构造的依赖结构相结合。我们的实验表明,当使用这个框架时,推断的值,包括混合权重和集群的数量都适当地响应于所使用的完全随机测量的数量,表现出优越的性能。
2016-06-27 stat.ML
Streaming Variational Inference for Bayesian Nonparametric Mixture Models
理论上,贝叶斯非参数(BNP)模型非常适合流数据场景,因为它们能够根据观察到的数据调整模型复杂性。不幸的是,这些好处在实践中还没有完全实现;现有的推理算法要么不适用于流应用程序,要么不能扩展到BNP模型。对于Dirichlet过程的特殊情况,流推理被考虑.然而,越来越多的兴趣在更灵活的BNP模型上建立的类归一化随机措施(NRM)。我们在这个框架下工作,并提出了一个流变分推断算法的NRM混合模型。我们的算法是基于假设密度过滤(ADF),直接导致期望传播(EP)的大规模批量推理。我们证明了该算法在大型流文本语料库中对文档进行聚类的有效性。
2015-04-21 stat.ML
Multichannel Electrophysiological Spike Sorting via Joint Dictionary Learning & Mixture Modeling
我们提出了一种用于动作电位检测和区分(“尖峰分选”)的多个记录期间的多通道细胞外电生理数据的联合特征学习和聚类的构造。我们的建筑主要从四个方面改进了以前的最先进的建筑。首先,通过跨通道共享信息,我们可以更好地区分单个单位尖峰和伪影。其次,我们提出的“聚焦混合模型”(FMM)优雅地处理了在多个记录日出现、消失或再现的单元,这是任何慢性实验的重要考虑因素。第三,通过联合学习特征和聚类,我们比以前通过两阶段(“频率论”)学习过程进行的尝试提高了性能。第四,通过直接建模尖峰率,我们提高了稀疏尖峰神经元的检测。此外,我们的贝叶斯构造无缝地处理缺失数据。我们提出了最先进的性能,而不需要手动调整许多超参数的公共数据集与部分地面真理和一个新的实验数据集。
2013-08-05 q-bio.QM stat.AP
An Introduction to the Practical and Theoretical Aspects of Mixture-of-Experts Modeling
La Trobe University(拉筹伯大学);Normandie Universite(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心)
专家混合模型(Mixture-of-Experts,MoE)是对复杂数据生成过程(DGP)中产生的数据进行建模的强大范例。在这篇文章中,我们演示了如何构建不同的MoE模型来近似任意类型数据的底层DGP。由于概率性质的MoE模型,我们提出了最大拟似然(MQL)估计作为一种方法估计MoE模型参数的数据,我们提供的条件下,MQL估计是一致的和渐近正态的。提出了块最小化-最大化(blockwise-MM)算法框架,作为构造获得MQL估计的算法的通用方法。提供了逐块MM算法的示例推导。然后,我们提出了一种方法来构建信息准则估计的数量在MoE模型和经典的贝叶斯信息准则(BIC)提供的理由。我们解释了如何使用MoE模型进行分类,聚类和回归,我们说明了这些应用程序通过一对工作的例子。
2017-07-12 cs.LG stat.ML
Bivariate Gamma Mixture of Experts Models for Joint Insurance Claims Modeling
在一般保险中,不同类别的风险通常是独立建模的,它们的总和被视为保险人为换取保费而承担的总风险。即使可能存在相关性,例如一次车祸可能导致多个风险类别的索赔,但多个风险的相关性通常也被忽略。为了更好地预测未来的索赔,从而提高费率制定的准确性,在建模时考虑不同类别的协方差是可取的。在这项工作中,多变量的严重性模型进行了研究,使用混合专家模型与双变量Γ分布,其中的依赖结构直接使用GLM框架建模,协变量可以放置在门控和专家网络。此外,简约的参数化被认为是,这导致一个家庭的双变量伽玛混合专家模型。它可以被看作是一个基于模型的聚类方法,聚类的保单持有人到不同的依赖关系的子组,和混合模型的参数依赖于协变量。聚类被证明是很重要的,在分离的数据到子组,强依赖性往往是存在的,即使整个数据集表现出只有弱的依赖。在这样做时,不同组成部分之间的相关性在模型中占有突出地位。结果表明,通过应用到模拟数据和现实世界的爱尔兰GI保险公司的数据集,索赔预测可以得到改善。
2019-04-09 stat.AP
A Stochastic-Geometrical Framework for Object Pose Estimation based on Mixture Models Avoiding the Correspondence Problem
Munich University of Applied Sciences(慕尼黑应用科学大学)
针对刚性目标姿态估计难题,提出基于混合模型的随机几何框架,无需求解特征点对应关系且适配多视图随机依赖,经多场景仿真验证可实现精准鲁棒的姿态估计。
2024-06-03 cs.CV stat.AP