Identifiability of Large Phylogenetic Mixture Models
系统发育混合模型是考虑异质性的性状进化的统计模型。在一些未知的字符分区中的每个类可能通过不同的过程,甚至沿着不同的树进化。由于参数化的复杂性,这种模型的参数是否可识别的基本问题很难解决。我们分析了混合模型的大树,许多混合成分,表明数值和树参数确实是可识别的,在这些模型中,当所有的树是相同的。我们还探讨了在何种程度上,我们的代数技术可以扩展到不同的树木的混合物的结果。
2010-11-18 math.AG math.ST q-bio.PE
A Spatial Bayesian Semiparametric Mixture Model for Positive Definite Matrices with Applications to Diffusion Tensor Imaging
扩散张量成像(DTI)是一种流行的磁共振成像技术,用于表征大脑中的微观结构变化。DTI研究使用估计的3x3对称正定扩散张量矩阵量化体素中水分子的扩散。DTI数据的统计分析具有挑战性,因为数据是正定矩阵。矩阵变量信息通常由单变量(例如分数各向异性(FA))概括,导致信息丢失。此外,DTI分析通常忽略相邻体素的空间关联,这可能导致不精确的估计。虽然空间建模的文献是丰富的,建模空间依赖正定矩阵是具有挑战性的。为了缓解这些问题,我们提出了一个矩阵变量贝叶斯半参数混合模型,其中正定矩阵分布为逆Wishart分布的混合物,混合物成分标签的马尔可夫模型捕获的空间依赖性。共轭和双梅特罗波利斯-黑斯廷斯算法导致快速和优雅的贝叶斯计算。我们的仿真研究表明,所提出的方法是更强大的比非空间的方法。我们还应用所提出的方法来研究可卡因使用对大脑结构的影响。我们的工作的贡献是提供了一个新的统计推断工具的DTI分析扩展空间统计学的矩阵变量数据。
2019-03-18 stat.AP stat.ME
A Family of Mixture Models for Biclustering
当\textit{a priori}没有已知的组结构时,双聚类用于同时聚类观测和变量。它正越来越多地用于生物信息学,文本分析等。以前,双聚类已经引入了基于模型的聚类框架,利用类似于混合因子分析器的结构。在这样的模型中,使用假定来自$N(\mathbf{0}, \mathbf{I})$的潜在变量$\mathbf{U}$对观测变量$\mathbf{X}$进行建模。通过对因子加载矩阵的条目施加约束为0和1,从而产生块对角协方差阵,从而引入变量的聚类。然而,这种方法过于严格,因为协方差阵的块中的非对角元素只能是1,这可能导致对复杂数据的不满意的模型拟合。这里,假设潜在变量$\mathbf{U}$来自$N(\mathbf{0}, \mathbf{T})$,其中$\mathbf{T}$是对角矩阵。这确保了协方差阵内的块矩阵中的非对角项是非零的并且不限于1。这导致了对复杂数据的卓越模型拟合。通过对协方差阵的分量施加约束来开发一系列模型。对于参数估计,使用交替期望条件最大化(AECM)算法。最后,使用模拟和真实数据集说明所提出的方法。
2020-09-10 stat.CO stat.ME
Regression models for binary data with scale mixtures of centered skew-normal link functions
针对二元回归中对称链接函数不适用及偏态链接函数可识别性问题,提出基于中心化参数化下偏态正态分布尺度混合的链接函数,并固定偏度符号,通过贝叶斯推断和模拟验证,应用于心脏病数据。
2024-07-20 stat.ME
Parsimonious Mixtures of Skewed Bilinear Factor Analyzers
研究针对聚类偏态随机矩阵的混合模型过参数化问题,提出偏态矩阵变量双线性因子分析器的简约混合模型家族,用AECM算法估计参数,并通过模拟及MNIST和Olivetti人脸数据集考量该方法。
2026-07-17 stat.ME stat.ML
Optimal Clustering in Anisotropic Gaussian Mixture Models
University of Washington(华盛顿大学);University of Pennsylvania(宾夕法尼亚大学)
本文研究了各向异性高斯混合模型下的聚类问题,其中来自不同聚类的协方差阵是未知的,并且不一定是相同的矩阵。我们刻画了信噪比对聚类中心和协方差阵的依赖性,并得到了聚类问题的极大极小下界。此外,我们提出了一个计算上可行的程序,并证明它达到了最佳的速度在几个迭代。所提出的方法是一种硬EM型算法,它也可以被看作是劳埃德算法的一个变体,该算法被调整到各向异性的协方差阵。
2021-01-18 cs.LG math.ST stat.ML
Model-based clustering for covariance matrices via penalized Wishart mixture models
本文提出稀疏Wishart混合模型,通过对分量尺度矩阵施加协方差图lasso惩罚实现高维协方差矩阵聚类,并在神经影像数据上验证了其有效性。
2024-08-30 stat.ME
Bayesian inference for transportation origin-destination matrices: the Poisson-inverse Gaussian and other Poisson mixtures
在本文中,我们提出了泊松混合方法的起点-目的地(OD)的交通分析建模。我们引入协变量为基础的模型,其中包括不同的运输建模阶段,也允许直接概率推理的基础上贝叶斯预测的链路流量。重点放在泊松逆高斯作为一种替代常用的泊松伽马和泊松对数正态模型。我们提出了第一个完整的贝叶斯公式,并证明了泊松逆高斯是特别适合OD分析,由于理想的边际和层次属性。此外,集成嵌套拉普拉斯近似(INLA)被认为是一种替代马尔可夫链蒙特卡罗和两种方法进行了比较,在特定的建模假设。案例研究是基于2001年比利时人口普查数据,重点是一个大的,稀疏分布的OD矩阵,包含308佛兰芒自治市的行程信息。
2020-11-11 stat.AP stat.ME
Parameterizations for Gradient-based Markov Chain Monte Carlo on the Stiefel Manifold: A Comparative Study
本研究在等效条件下比较了Stiefel流形上基于梯度的马尔可夫链蒙特卡洛的四种正交矩阵参数化方法,发现极坐标展开参数化在高维和复杂问题中效率最高,但所有方法在极高维任务中仍存在局限性。
2024-06-02 stat.CO
Gaussian variational approximation with sparse precision matrices
我们考虑的问题学习高斯变分近似的后验分布的高维参数,我们施加稀疏的精度矩阵,以反映适当的条件独立结构的模型。在精度矩阵中定义稀疏性使得高斯变分分布既灵活又简约,并且稀疏性通过Cholesky因子的参数化来实现。有效的随机梯度方法,适当利用梯度信息的目标分布的优化开发。我们考虑随机梯度的替代估计,具有较低的变化,更稳定。我们的方法说明使用广义线性混合模型和状态空间模型的时间序列。
2017-04-13 stat.CO stat.ML
Spectra of high-dimensional Spearman correlation matrices under scale-mixture dependence
Académie des Sciences(法兰西学术院);Capital Fund Management(资本基金管理公司);Institut Louis Bachelier(路易·巴舍利耶研究所);LadHyX, UMR CNRS 7646, École Polytechnique, Institut Polytechnique de Paris(巴黎理工学院高等力学与工业应用实验室(CNRS联合研究单位7646));Princeton University(普林斯顿大学)
研究尺度混合数据的高维斯皮尔曼相关矩阵渐近谱性质,通过特定观测形式分析其高阶相依性,在比例情形下得出经验谱分布收敛规律,还给出潜在变量扩展及可解示例与数值近似,受重尾数据相关领域启发。
2026-07-29 math.PR math.ST stat.TH
Mixture Hidden Markov Models for Sequence Data: The seqHMM Package in R
序列分析正越来越广泛地应用于社会序列和其他多元分类时间序列数据的分析。然而,描述、可视化和比较大型序列数据通常是复杂的,尤其是当每个受试者有多个平行序列时。隐马尔可夫模型(HHMF)能够检测潜在的潜在结构,并且它们可以用于各种纵向设置中:考虑测量误差,检测不可观测的状态,或者压缩跨几种类型的观测的信息。扩展到混合隐马尔可夫模型(MHALGOT)允许聚类数据到同质子集,有或没有外部协变量。R中的seqHMM包设计用于使用HHMM和MHMM对序列和其他分类时间序列数据进行有效建模,这些数据包含一个或多个主题,具有一个或多个相互依赖的序列。也可以拟合MHMM的其他受限变体,例如,潜在类模型、马尔可夫模型、混合马尔可夫模型、或甚至具有HMM的适当参数化的普通多项式回归模型。在从第一眼看到数据到模型拟合和结果呈现的整个分析过程中,数据和模型的良好图形化呈现非常有用。该软件包提供了绘制并行序列数据的简单选项,并建议将HPLOS可视化为有向图。
2019-01-26 stat.AP stat.CO
Parsimonious Shifted Asymmetric Laplace Mixtures
介绍了一类简约移动非对称Laplace混合模型。我们将混合因子分析模型推广到移动的非对称拉普拉斯分布。对分解后的分量尺度矩阵的组成部分施加约束,导致了一系列的简约模型。描述了一个显式的两阶段参数估计过程,并比较了贝叶斯信息准则和综合完全似然用于模型选择。这个新的家庭的模型被应用到真实的数据,在那里它是比较其高斯模拟聚类和分类范例。
2013-11-01 stat.CO stat.ME stat.ML
Scalable and optimal Bayesian inference for sparse covariance matrices via screened beta-mixture prior
本文提出一种结合连续收缩先验与筛选过程的可扩展贝叶斯方法,用于稀疏协方差矩阵估计,解决了“大p,小n”高维问题,并具备确定筛选性质与最优收敛速率。
2023-11-21 stat.ME
Estimation and selection for high-order Markov chains with Bayesian mixture transition distribution models
我们开发了两个模型的贝叶斯估计和选择高阶,离散状态马尔可夫链。两者都是基于混合转移分布,它构造了一个转移概率张量与一阶转移矩阵的概率的加法混合。我们证明了所提出的模型的两个用途:通过混合低阶过渡模型来近似高阶动态,以及通过稀疏概率向量的先验过规范和收缩来选择顺序/滞后。先验进一步将所有模型缩小到可识别和可解释的参数化,这对数据分析很有用。我们讨论了模型的属性,并通过仿真研究证明了它们的实用性。我们进一步应用该方法的数据分析,从高阶马尔可夫链文献和时间序列的粉红色鲑鱼在美国阿拉斯加州的小溪丰富。
2019-06-25 stat.ME
Liu-type Shrinkage Estimators for Mixture of Poisson Regressions with Experts: A Heart Disease Study
针对带有专家的泊松回归混合模型在多重共线性下设计矩阵病态的问题,提出Ridge和Liu型收缩方法,在保持分类性能的同时提供更可靠的系数估计,并应用于心脏病研究。
2023-09-11 stat.CO stat.ME stat.ML
Parsimonious Gaussian mixture models with piecewise-constant eigenvalue profiles
Université Côte d’Azur(法国埃克塞特大学);INRIA(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);LJAD(应用数学与计算科学实验室);Maasai Project Team(马萨伊项目团队)
本文提出具有分段常数协方差特征值轮廓的简约高斯混合模型,扩展了MPPCA等低秩模型,并设计逐分量惩罚EM算法联合学习参数与超参数,在密度拟合、聚类和图像去噪中取得更优的似然-简约性权衡。
2025-11-07 cs.LG stat.AP stat.CO
A Parameterization-Invariant DIC
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
针对经典DIC对参数化敏感且有效参数可能为负的问题,提出一种无插件、参数化不变的DIC(DIC_i),并证明其渐近等价于WAIC,在因子分析和增长混合模型中表现良好。
2026-05-27 stat.ME
Autoregressive Mixture Models for Serial Correlation Clustering of Time Series Data
将时间序列聚类到相似的组中可以通过组合相似时间序列上的信息来改进模型。虽然有一个发达的机构的文献聚类的时间序列,这些方法往往会产生集群独立的模型训练,这可能会导致穷人的模型拟合。我们提出了一种新的分布式方法,同时集群和适合自回归模型组相似的个人。我们应用Wishart混合模型,以便在对相应的自协方差矩阵建模的同时对个体进行聚类。拟合的Wishart尺度矩阵通过Yule-Walker方程映射到聚类水平的自回归系数,拟合稳健的简约自回归混合模型。这种方法是能够辨别差异的基础自相关变化的时间序列的设置与大型异构数据集。我们证明了我们的集群成员估计量、系数的渐近分布的一致性,并通过模拟以及拟合COVID-19预测模型将我们的方法与竞争方法进行比较。
2022-01-16 stat.ME
Diagnostic-Driven Nonstationary Emulators Using Kernel Mixtures
弱平稳高斯过程(GPs)是计算机实验(或不确定性量化)设计和分析的统计方法中的主要工具。使用一组训练运行来学习过程协方差核的参数,将这样的过程拟合到计算机模型输出。平稳性假设通常是足够的,但当模型响应表现出非平稳性时,例如,如果其平滑度在输入空间中变化,则可能导致预测性能较差。在本文中,我们介绍了一种诊断为主导的方法来拟合非平稳GP仿真器,通过指定有限的混合特定区域的协方差内核。我们的方法首先适合一个固定的GP,如果传统的诊断表现出非平稳性,这些诊断被用来适应适当的混合函数的协方差内核混合设计,以捕捉非平稳性,确保仿真器是连续的参数空间和易于解释。我们比较我们的方法在文献中的主要非平稳GP模型,并说明其性能的一些理想化的测试用例和应用程序建模的云参数化的法国气候模型。
2019-02-27 stat.ME
C-mix: a high dimensional mixture model for censored durations, with applications to genetic data
本文引入了删失持续时间的混合模型(C-mix),并给出了该模型时间分布和潜回归参数的联合估计的极大似然推断。我们考虑一个高维的设置,包含大量的生物医学协变量的数据集。因此,我们通过弹性网络惩罚负对数似然,这导致模型的稀疏参数化。推理是使用一个有效的拟牛顿期望最大化(QNEM)算法,我们提供收敛性。然后,我们通过评估患者早期不良事件的风险来提出评分。该方法的统计性能进行了广泛的蒙特卡罗模拟研究,并最终说明了三个遗传数据集与高维协变量。我们表明,我们的方法优于最先进的,即治愈和考克斯比例风险模型的这项任务,无论是在C指数和AUC(t)。
2017-11-25 stat.ML
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法,导致稀疏和自适应收缩的精度(逆协方差)矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵,这是必不可少的几个应用程序,涉及学习变量之间的关系。在这种情况下,我们引入了一种新类型的选择之前,开发一个稀疏结构的精度矩阵,使大多数元素正好为零,除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案,以实现后验推理在所提出的模型,包括评估的归一化常数,这是感兴趣的参数的功能,从而导致相关矩阵的限制。我们评估我们的方法的操作特性,通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
A Bayesian Mixture Model for Changepoint Estimation Using Ordinal Predictors
在回归模型中,具有固有排序的预测变量,如肿瘤分期范围和ECOG体力状态,在医疗环境中很常见。在统计学上,可能很难确定有序预测变量的函数形式。通常,这样的变量根据它是高于还是低于某个截止值而被二分。其他方法方便地将有序预测因子视为连续变量,并假设与结果呈线性关系。然而,任意选择一种方法可能会导致不准确的推断和处理。在本文中,我们提出了一个贝叶斯混合模型,同时评估适当的形式的预测回归模型,通过考虑存在一个变点,通过镜头的阈值检测问题。通过使用混合模型框架来考虑变量的二分和线性形式,估计是线性和二进制参数化的加权平均。该方法适用于连续、二元和生存结局,并且易于进行惩罚回归。我们评估了所提出的方法,使用模拟研究,并将其应用到两个真实的数据集。我们提供JAGS代码以便于实现。
2020-08-01 stat.ME
Sparse Covariance Estimation in Logit Mixture Models
本文介绍了一种新的数据驱动的方法估计稀疏协方差阵的随机系数的Logit混合模型。研究人员通常在两个极端假设之一下指定logit混合模型中的协方差阵:不受限制的完整协方差阵(允许所有随机系数之间的相关性)或限制的对角矩阵(完全不允许相关性)。我们的目标是找到相关系数的最佳子集,我们估计协方差。我们提出了一个新的估计,称为MISC,使用混合整数优化(MIO)程序找到一个最佳的块对角结构规范的协方差矩阵,对应于相关系数的子集,为任何所需的稀疏水平,使用马尔可夫链蒙特卡罗(MCMC)后提请从不受限制的完整的协方差阵。使用样本外验证确定协方差阵的最佳稀疏水平。我们证明了MISC从合成数据中正确恢复真实协方差结构的能力。在一个实证说明中,我们使用MISC来获得一个稀疏的协方差阵,表明属性的偏好是如何相互关联的。
2020-01-14 econ.EM stat.ME stat.ML
Steering Large Agent Populations using Mean-Field Schrodinger Bridges with Gaussian Mixture Models
本文针对线性时变动力学和高斯混合边界分布的多智能体群体控制,提出一种基于协方差转向半定规划的闭式参数化方法,无需学习即可高效求解平均场薛定谔桥问题。
2025-06-18 cs.LG stat.ML
Optimal Clustering by Lloyd Algorithm for Low-Rank Mixture Model
Hong Kong University of Science and Technology(香港科技大学)
提出面向矩阵值观测的低秩混合模型 LrMM,并用低秩近似增强 Lloyd 算法,证明其在良好初始化下达到 minimax 最优聚类错误率且计算门槛由信号强度决定。
2023-06-07 cs.IT cs.LG math.IT
Manifold Learning by Mixture Models of VAEs for Inverse Problems
University of Genoa(热那亚大学);University College London(伦敦大学学院);MaLGa Center(MaLGa中心)
针对逆问题求解需求,提出用VAE混合模型表示任意拓扑的高维数据流形,结合黎曼梯度下降算法求解约束优化问题,在多类任务上验证了有效性。
2024-08-12 cs.LG stat.ML
A data driven equivariant approach to constrained Gaussian mixture modeling
已知具有不同类特定协方差阵的高斯混合模型的极大似然估计是有问题的。这是由于可能性的无界性,以及虚假最大化的存在。现有的方法来绕过这个障碍是基于这样一个事实,即无界性是避免的,如果协方差阵的特征值有界远离零。这可以通过对协方差阵施加一些约束来完成,即通过将先验信息并入混合分量的协方差结构。目前的工作介绍了一种约束等变的方法,类条件协方差阵收缩到一个预先指定的矩阵Psi。数据驱动的矩阵Psi的选择,当先验信息是不可用的,和收缩的最佳量进行了研究。该建议的有效性进行了评估的基础上的模拟研究和实证例子。
2016-10-25 stat.CO
Two-Sample Test for High-Dimensional Covariance Matrices: a normal-reference approach
检验两个高维样本的协方差阵是否相等是统计学中的一个基本推断问题。已经提出了几种检验方法,但当所需的假设不满足时,它们要么过于自由,要么过于保守,这证明它们并不总是适用于实际数据分析。为了克服这一困难,本文提出并研究了一种正常参考测验。证明了在一定的正则性条件和原假设下,所提出的检验统计量与卡方型混合数据具有相同的极限分布。然后证明了使用卡方型混合物的零分布来近似建议的检验统计量的零分布。卡方型混合物的分布可以很好地近似使用三累积量匹配卡方近似与其近似参数一致估计的数据。还建立了局部替代下的渐近功率的拟议测试。仿真研究和实际数据的例子表明,在尺寸控制方面,所提出的测试大大优于现有的竞争对手。
2022-12-23 math.ST stat.CO stat.ME
Improving Model Choice in Classification: An Approach Based on Clustering of Covariance Matrices
本文通过按谱相似准则聚类协方差矩阵并改进 CEM 算法,在十四种经典简约高斯混合模型之间引入中间模型,以减少参数并增强可解释性。
2024-02-15 stat.CO stat.ME
Maximum Likelihood for Matrices with Rank Constraints
极大似然估计是统计学中的一个基本最优化问题。我们在秩有界的矩阵流形上研究这个问题。这些表示两个独立的离散随机变量的分布的混合。我们确定的最大似然度的范围内的行列式品种,我们应用数值代数几何计算其似然函数的所有临界点。这导致了发现最大似然对偶矩阵之间的互补行列,结果证明随后由Draisma和罗德里格斯。
2013-03-18 math.AG math.OC stat.CO