Weighted likelihood mixture modeling and model based clustering
在这项工作中,开发了一种加权似然方法的稳健拟合的多元高斯成分的混合。已经提出了两种方法,分别由标准EM和CEM算法的适当修改驱动。在这两种技术中,M步骤通过针对降低离群值的权重的计算来增强。权重是基于皮尔逊残差源于强大的马氏型距离。基于拟合的混合模型,还可以定义用于鲁棒聚类和离群值检测的正式规则。所提出的方法的行为进行了研究,通过一些数值研究和实际数据的例子,在拟合和分类精度和离群值检测。
2018-11-08 stat.ME
Robust Fitting of Mixture Models using Weighted Complete Estimating Equations
混合模型考虑了数据中潜在的异质性,被广泛用于分类和聚类问题。混合模型可以使用期望最大化算法进行估计,该算法使用基于混合模型的分层表达的聚类分配的潜在隶属度变量所限定的完整估计方程。然而,当混合成分具有轻尾(light tail)(例如正态分布)时,混合模型可能对离群值敏感。提出了一种混合模型稳健拟合的加权完全估计方程(WCE)方法。我们的WCE引入了权重来完成估计方程,使得权重可以自动降低离群值的权重。权重的构造类似于混合模型的密度幂散度,但在我们的WCE中,它们仅取决于组分分布,而不是整个混合。一种新的期望估计方程(ESTA)算法也被开发来解决WCE。为了说明的目的,一个多元高斯混合,专家的混合物,和一个多元的偏正态混合物被认为是,以及如何实现我们的算法可以为这些特定的模型进行了描述。使用模拟和真实数据集检验了所提出的稳健估计方法的数值性能。
2022-03-17 stat.ME
Semi-Supervised Mixture Models under the Concept of Missing at Radom with Margin Confidence and Aranda Ordaz Function
School of Mathematics and Statistics(数学与统计学学院);University of New South Wales(新南威尔士大学)
本文提出一种基于边缘置信度和Aranda Ordaz函数的半监督混合模型,用于在缺失随机机制下提高分类性能和鲁棒性。
2026-01-21 cs.LG stat.CO stat.ME
Equal confidence weighted expectation value estimates
在本文中,将使用贝叶斯方法、最小二乘拟合和最可能拟合来讨论这些问题。针对这些问题,提出了一种基于加权置信度的概率估计方法。该方法对不同的模型参数组合求和,但不需要对先验或基础概率函数进行假设。此外,通过构造,结果在模型参数的重新参数化下是不变的。在一种情况下,结果似乎类似于贝叶斯统计,但一般来说,没有协议。二项分布也进行了研究,结果是有用的生产过程中,而不需要作出进一步的假设作出预测。在最后一部分中,一个简单的线性拟合(多变量的例子)的情况下,使用标准的方法和置信加权的方法进行了研究。
2017-01-25 math.ST stat.TH
Flexible Mixture Modeling with the Polynomial Gaussian Cluster-Weighted Model
在混合建模框架下,本文提出了多项式高斯聚类加权模型(CWM)。它扩展了线性高斯CWM,二元数据,在一个双重的方式。首先,通过考虑多项式回归,它允许混合成分中可能的非线性依赖性。其次,它不限于用于基于模型的聚类,仅在最一般的基于模型的分类框架中进行上下文化。使用期望最大化算法导出极大似然参数估计,并使用贝叶斯信息准则(BIC)和综合完全似然(ICL)进行模型选择。本文还研究了多项式高斯CWM的成分隶属度的后验概率与其它已建立的相关混合模型的成分隶属度的后验概率相一致的条件,对于这些模型,多项式高斯CWM应用于本文所考虑的人工数据和真实数据时,都显示出优良的聚类和分类结果。
2012-07-04 stat.CO stat.ME
A Latent Mixture Model for Heterogeneous Causal Mechanisms in Mendelian Randomization
孟德尔随机化(MR)是流行病学和遗传学中的一种流行方法,它使用遗传变异作为工具变量进行因果推断。现有的MR方法通常假设大多数遗传变异是识别共同因果效应的有效工具变量。人们普遍没有意识到,即使所有的工具变量都是有效的,当涉及多个因果通路时,也可能违反这种效应同质性假设。在这篇文章中,我们介绍了一个潜在的混合模型MR-PATH,该模型将产生相似因果效应估计的工具分组在一起。我们开发了一个Monte-Carlo EM算法来拟合这个混合模型,推导出近似的置信区间的不确定性量化,并采用一个修改的贝叶斯信息准则(BIC)的模型选择。我们使用数值模拟来验证Monte-Carlo EM算法、置信区间和模型选择准则的有效性。我们确定潜在的机制异质性时,应用我们的方法来估计高密度脂蛋白胆固醇对冠心病的影响和肥胖对II型糖尿病的影响。
2022-06-14 stat.AP stat.ME
Investigation of Parameter Uncertainty in Clustering Using a Gaussian Mixture Model Via Jackknife, Bootstrap and Weighted Likelihood Bootstrap
混合模型是基于模型聚类的一种常用工具。这种模型通常通过最大化似然的过程来拟合,例如期望最大化算法。在收敛时,通常报告极大似然参数估计值,但在大多数情况下,很少强调与这些估计值相关的变异性。这部分地可能是由于在模型拟合算法中不直接计算标准误的事实,或者因为不需要它们来拟合模型,或者因为它们难以计算。因此,基于模型的聚类中的标准误的检查通常被忽略。最近广泛使用的R包方法引入了bootstrap和加权似然bootstrap方法,以方便标准误估计。本文提供了一个经验比较这些方法(连同刀切法)产生的标准误和置信区间的混合参数。这些方法的说明和对比,在模拟研究和传统的老忠实的数据集和甲状腺数据集。
2019-07-22 stat.CO stat.ME
Maximum weighted likelihood estimator for robust heavy-tail modelling of finite mixture models
本文给出了重尾有限混合模型(FMM)的最大加权似然估计(MWLE)的稳健估计。这是由保险索赔严重性数据的复杂分布现象所激发的,其中需要灵活的密度估计工具,例如FMM,但MLE经常在FMM下产生不稳定的尾部估计。在一定的正则条件下,证明了MWLE是相容的,并且是渐近正态的。我们进一步证明了MWLE得到的尾部指数是一致的,即使模型是错误的,证明了MWLE在估计FMM尾部的鲁棒性。广义期望最大化(GEM)算法对MWLE进行概率解释,仍然适用于有效的参数估计。因此,我们提出并比较了两个独特的完整数据的结构来实现GEM算法。通过举例说明我们的方法在两个模拟研究和一个真正的汽车保险数据集,我们表明,相比MLE,MWLE产生更适当的估计FMM的尾部,而不会牺牲太多的灵活性FMM在捕捉身体的一部分。
2021-08-03 stat.ME
Bayesian non-parametric non-negative matrix factorization for pattern identification in environmental mixtures
环境健康研究人员可能会致力于确定代表来源的暴露模式,产品使用,或行为,引起潜在有害的环境化学品暴露的混合物。我们提出了贝叶斯非参数非负矩阵分解(BN ^2 MF)作为一种新的方法来识别模式的化学品暴露时,模式的数量是未知的先验。我们将非负连续先验放置在模式负载和个体分数上以增强可解释性,并使用聪明的非参数稀疏先验来估计模式数。我们进一步推导出估计值周围的变分置信区间;这是一个关键的发展,因为它量化了模型对估计模式的置信度。这些独特的功能与现有的模式识别方法在这一领域中所采用的是有限的用户指定的模式数,缺乏解释性的模式在人类的理解,以及缺乏不确定性量化。
2021-09-24 stat.AP stat.ME stat.ML
Multiple hypothesis screening using mixtures of non-local distributions with applications to genomic studies
大规模数据集的分析,特别是在生物医学背景下,经常涉及多个假设的原则性筛选。著名的两组模型联合建模的检验统计量的分布与两个竞争密度的混合物,零和替代分布。我们调查使用加权密度,特别是,非局部密度作为工作的替代分布,强制分离的空,从而完善筛选程序。我们展示了这些加权的替代品如何改善各种操作特性,如贝叶斯错误发现率,相对于一个本地的,未加权的似然方法的固定混合比例的测试结果。参数和非参数模型规格,提出了有效的采样后验推理。通过模拟研究,我们展示了我们的模型如何与成熟和最先进的替代品在各种操作特性方面进行比较。最后,为了说明我们的方法的多功能性,我们进行了三个差异表达分析与公开可用的数据集从基因组研究的异质性。
2023-03-09 stat.AP stat.ME
A grouped, selectively weighted false discovery rate procedure
结构化假设检验中的错误发现率控制是同时推理中的一个重要课题。大多数现有的方法,旨在利用组结构之间的假设,要么采用groupwise混合模型或加权所有p值或假设。因此,当分组混合模型不合适或大多数组仅包含真零假设时,可以提高它们的功效。出于这一动机,我们提出了一个分组的,选择性加权的FDR程序,我们称之为“sGBH”。具体而言,在不采用分组混合模型的情况下,sGBH识别感兴趣的假设组,仅对每个这样的组中的p值进行加权,并且仅使用加权的p值来测试所选择的假设。sGBH包含标准分组加权FDR程序,我们将其称为“GBH”。我们提供了简单的条件,以确保sGBH的保守性,连同经验证据,其大大提高了GBH的权力。新的程序应用于基因表达研究。
2019-08-14 stat.ME
Bayesian improved cross entropy method with categorical mixture models
本文提出基于类别混合模型的贝叶斯改进交叉熵方法,通过加权MAP估计和广义EM算法缓解过拟合并估计静态网络稀有事件,数值实验表明其显著优于标准iCE方法。
2023-09-21 stat.AP stat.ME
Bayesian Cluster Weighted Gaussian Models
Athens University of Economics and Business(雅典经济与商业大学)
提出一类新的贝叶斯混合正态线性回归模型,通过引入预测变量分布的额外高斯随机成分,利用lasso和graphical-lasso先验分别处理回归系数和协方差结构,并采用跨维度伸缩采样器自动确定聚类数,在模拟和生物医学数据上优于EM、回归混合和专家混合方法。
2026-05-06 stat.CO stat.ME
Spatial Neutral to the Right Species Sampling Mixture Models
本文简要地叙述了如何利用Doksum(1974)的中立至右过程导出的一类物种抽样混合模型。对于实际的实施,我们描述了一个有序/排名的广义加权中餐厅过程的变体。
2006-04-12 math.PR math.ST stat.TH
Deconvolution of High-Dimensional Mixtures via Boosting, with Application to Diffusion-Weighted MRI of Human Brain
弥散加权磁共振成像(DWI)和纤维束成像是唯一的方法来测量白质的结构,在活的人脑。扩散信号已经被建模为来自穿过白质中每个位置的许多单独神经纤维束的组合贡献。通常,这是通过基追踪来完成的,但是由于离散化,精确方向的估计受到限制。DWI数据建模中固有的困难是由许多其他问题,涉及拟合非参数混合模型共享。Ekanadaham等人提出了一种方法,连续基追踪,以克服1维情况下的离散化误差(例如,尖峰分选)。在这里,我们提出了一个更通用的算法,适合任何维度的混合模型,而无需离散化。我们的算法使用L2-boost的原则,再加上重新调整的权重和修剪的参数。将这些步骤添加到L2-boost中既加速了算法,又确保了其准确性。我们将由此产生的算法称为弹性基追踪(EBP),因为它根据需要扩展和收缩核的活动集。我们表明,与现有的拟合混合物的方法相比,我们的提升框架(1)能够沿着解决方案路径选择最佳偏差-方差权衡,(2)扩展高维问题。在DWI的模拟中,我们发现EBP比非负最小二乘(NNLS)方法或DWI中使用的标准模型(张量模型)(作为扩散张量成像(DTI)的基础)产生更好的参数估计。我们证明了实用的方法在DWI数据中获得的部分大脑包含多个神经纤维束的交叉。
2014-09-26 stat.ML
Bayesian Cluster Geographically Weighted Regression for Spatial Heterogeneous Data
本文提出结合贝叶斯地理加权回归与高斯混合及Dirichlet过程混合模型的方法,引入协变量效应聚类,解决区域协变量重要性差异问题,并优化大型空间数据集的MCMC计算,经模拟与实际数据验证有效。
2023-11-21 stat.AP stat.ME
Bayesian model averaging via mixture model estimation
基于Kaniav等人提出的假设检验的混合模型方法,提出了一种新的贝叶斯模型平均(BMA)和选择方法,2014.继承这种方法的良好特性,它扩展了BMA的情况下,不适当的先验选择的参数是共同的所有候选模型。从算法的角度来看,我们的方法包括从所有候选模型的单数据混合物的后验分布中采样,由其先验概率加权。我们证明了这个后验分布等于所有候选模型的“贝叶斯模型平均”后验分布,由它们的后验概率加权。从这个BMA后验样本,每个模型的后验概率的一个简单的蒙特卡罗估计,以及每个模型的后验分布下的期望的重要性抽样估计。
2018-08-01 stat.ME
Mechanism Learning: reverse causal inference in the presence of multiple unknown confounding through causally weighted Gaussian mixture models
提出机制学习方法,利用因果加权高斯混合模型(CW-GMMs)对观测数据去混杂,使机器学习模型在多重未知混杂下学习结果到原因的反向因果预测关系,实现无偏因果推断。
2025-11-02 cs.LG math.PR stat.ML
Mixture Model Averaging for Clustering
在基于混合模型的聚类应用程序中,通常会从一个系列中拟合多个模型,并仅报告“最佳”模型的聚类结果。在这种情况下,使用模型选择标准(最常见的是贝叶斯信息标准)来实现该最佳模型的选择。除了最好的模型之外,我们没有丢弃所有的模型,而是对在某种意义上接近最好的模型的多个模型进行平均,从而产生聚类结果的加权平均值。两个(加权)平均方法被认为是:平均组件的成员资格概率和平均模型。在这两种情况下,Occam窗口用于确定与最佳模型的接近程度,并且在贝叶斯模型平均范式内计算权重。在某些情况下,我们需要在平均之前合并成分;我们介绍了一种基于调整后的Rand指数合并混合成分的方法。我们的基于模型的聚类平均方法的有效性说明使用一个家庭的高斯混合模型的真实和模拟数据。
2014-07-26 stat.CO stat.ME stat.ML
Zero-Inflated Poisson Cluster-Weighted Models: Properties and Applications
在本文中,我提出了一类新的零膨胀泊松模型的簇加权模型(CWM)的家庭称为零膨胀泊松CWM(ZIPCWM)。ZIPCWM扩展了Poisson聚类加权模型和其他混合模型。我提出了一个期望最大化(EM)算法通过迭代加权最小二乘模型。我从理论上和分析研究所提出的模型,通过广泛的仿真研究的可识别性。通过广泛的模拟设计,参数恢复,分类评估,和不同的信息标准的性能进行了研究。ZIPCWM被应用于实际数据,该实际数据占超过$40\%$的多余零。我们探讨了ZIPCWM,固定零膨胀泊松混合模型(FZIP)和泊松聚类加权模型(PCWM)的分类性能的数据。基于混淆矩阵,ZIPCWM达到$97.4\%$分类能力,PCWM达到$67.30\%$,而FZIP具有最差的分类性能。总之,ZIPCWM优于PCWM和FZIP模型。
2022-08-26 stat.ME
$k$-MLE: A fast algorithm for learning statistical mixture models
Sony Computer Science Laboratories, Inc(索尼计算机科学实验室)
我们描述了$k$ -MLE,一个快速,高效的局部搜索算法学习有限的指数族,如高斯混合模型的统计混合。传统上,混合模型是使用期望最大化(EM)软聚类技术来学习的,该技术单调地增加了不完整(期望完整)的可能性。给定给定混合权重,硬聚类$k$ -MLE算法迭代地将数据分配给最可能的加权分量,并使用最大似然估计器(MLE)更新分量模型。利用指数族和Bregman发散之间的对偶性,证明了$k$ -MLE的完全似然的局部收敛性直接来自于对偶加性加权Bregman硬聚类的收敛性. $k$ -MLE的内部循环可以使用任何$k$ -means启发式算法来实现,比如著名的Lloyd的批处理或Hartigan的贪婪交换更新。然后,我们展示了如何更新混合权重最小化的交叉熵标准,这意味着更新权重,通过采取集群点的相对比例,并重复的混合参数更新和混合权重更新过程,直到收敛。硬EM被解释为$k$ -MLE的特殊情况下,当组件更新和权重更新都在内部循环中连续执行。为了初始化$k$ -MLE,我们提出了$k$ -MLE++,一个仔细的初始化$k$ -MLE保证概率上的最佳可能的完全似然的全球范围。
2012-03-23 cs.LG stat.ML
Cluster Weighted Model Based on TSNE algorithm for High-Dimensional Data
University of Milano-Bicocca(米兰比可卡大学)
与许多机器学习模型类似,聚类加权模型(CWM)的准确性和速度都可能受到高维数据的阻碍,导致以前的工作是一种简约的技术来减少“维数诅咒”对混合模型的影响。在这项工作中,我们回顾了集群加权模型(CWM)的背景研究。我们进一步表明,简约的技术是不够的混合模型蓬勃发展的存在下,巨大的高维数据。我们讨论了一个启发式的检测隐藏的组件,通过选择位置参数的初始值使用的默认值在“FlexCWM”R包。我们引入了一种降维技术,称为T-分布随机邻居嵌入(TSNE),以提高在高维空间的简约CWM。最初,CWM适用于回归,但为了分类目的,所有多类变量都被转换为带有一些噪声的几何变换。模型参数采用期望最大化算法求解。使用来自不同领域的真实数据集证明了所讨论的技术的有效性。
2022-08-02 cs.HC cs.LG stat.ML
Consistent Estimation of Identifiable Nonparametric Mixture Models from Grouped Observations
University of Michigan(密歇根大学);Technische Universität Berlin(柏林工业大学)
最近的研究已经建立了有限混合模型从分组观测中可识别的充分条件。这些条件允许混合成分是非参数的,并且具有大量(甚至全部)重叠。这项工作提出了一种算法,一致地估计任何可识别的混合模型从分组的意见。我们的分析利用了一个预言不等式的加权核密度估计组上的分布,以及一个一般的结果表明,一致的估计组上的分布意味着一致的估计混合成分。一个实际的实施提供了成对的观察,该方法表现出优于现有的方法,特别是当混合成分重叠显着。
2020-06-12 cs.LG math.ST stat.ML
BOB: Bayesian Optimized Bootstrap for Uncertainty Quantification in Gaussian Mixture Models
针对高斯混合模型中标准MCMC后验采样计算难度大、加权自助法随机权重难选的问题,提出贝叶斯优化自助法BOB,通过贝叶斯优化自动选权以最小化反向KL散度,实现更优的后验还原与不确定性量化。
2024-05-17 stat.CO stat.ME
The statistical Minkowski distances: Closed-form formula for Gaussian Mixture Models
Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室有限公司);Tokyo(东京)
传统的Minkowski距离是由实值向量空间中相应的Minkowski范数导出的。在这项工作中,我们提出了新的统计对称距离的基础上的Minkowski不等式属于Lebesgue空间的概率密度。这些统计Minkowski距离承认封闭形式的公式高斯混合模型时,参数化的整数指数。这个结果扩展到任意混合指数族与自然参数空间是锥:这包括二项式,多项式,零中心拉普拉斯,高斯和Wishart混合,等等。我们还从Minkowski不等式导出了归一化加权概率分布集的Minkowski多样性指数。
2019-01-17 cs.IT cs.LG math.IT
Nonparametric Pattern-Mixture Models for Inference with Missing Data
模式混合模型为处理缺失数据提供了一种透明的方法,其中完整数据分布以一种明确显示可以仅从观察数据估计的部分以及需要识别限制的部分的方式进行因子分解。我们介绍了一个非参数估计的全数据分布的模式混合模型因子分解的基础上。我们的方法使用的经验数据分布,并增加了一个非参数估计的缺失数据分布在一个给定的识别限制。我们的研究结果适用于一个大类的捐助者为基础的识别限制,包括常用的,可以处理单调和非单调缺失。我们提出了一个蒙特卡罗程序来获得点估计的泛函的兴趣,和自助构建置信区间。
2019-04-24 math.ST stat.ME stat.TH
Bayesian Modeling of the Stochastic Block Model for Weighted Network Data with Zero-Inflated Negative Binomial Distribution
Department of Mathematics, Hiroshima University(广岛大学数学系)
本文提出基于零膨胀负二项分布的贝叶斯块模型,以应对加权网络中的过分散数据,通过零膨胀自然处理缺失交互,并利用多项式伽玛数据增强实现高效后验计算,提升社区检测和链接预测性能。
2026-04-27 stat.ME
Mixture-based Multiple Imputation Model for Clinical Data with a Temporal Dimension
Northwestern University(西北大学)
多变量时间序列中的缺失值问题是临床数据采掘等应用中的一个关键挑战。虽然许多插补方法在许多应用中显示了它们的有效性,但它们中的一些被设计用于适应临床多变量时间序列。在这项工作中,我们提出了一个多重插补模型,捕获横截面信息和时间相关性。我们将高斯过程与混合模型相结合,并引入个性化的混合权重来处理高斯过程模型预测置信度的方差。该模型与几个国家的最先进的插补算法在现实世界和合成数据集进行了比较。实验表明,我们的最佳模型可以提供比我们所有数据集上的基准更准确的插补。
2020-03-02 cs.LG stat.ML
Group Decisions based on Confidence Weighted Majority Voting
背景:有报道称,在不确定性条件下做出决策时,群体的表现优于个体。在实验室环境中,真实的群体通常被模拟的群体所取代:而不是进行实际的群体讨论,个人的反应是通过数值计算来汇总的。虽然研究通常使用未加权多数投票(MV)进行这种汇总,但理论上最佳方法是置信加权多数投票(CWMV)-如果单个响应的置信度评级可用。然而,目前还不完全清楚如何以及理论推导的CWMV方法预测真正的群体决策和信心。因此,我们比较了使用CWMV和MV的模拟群体反应与真实群体反应。结果如下:基于CWMV的模拟群体决策的准确性与真实群体决策的准确性非常匹配,而基于MV的模拟群体决策的准确性较低。此外,CWMV很好地预测了群体对群体决策的信心。然而,个人和真实群体表现出对不自信的偏见,而CWMV则没有。结论:我们的研究结果强调了在调查群体决策时考虑个人信心的重要性:我们发现,真实群体可以聚合个人信心,使其与CWMV给出的最佳聚合相匹配。这意味着使用模拟群体决策的研究应该使用CWMV而不是MV。
2021-06-07 stat.AP
Designing an Optimal Bonus--Malus System Using the Number of Reported Claims, Steady-State Distribution, and Mixture Claim Size Distribution
本文首先考虑了一个给定的Bonus-Malus系统的相对保费的两个Bayes估计。然后,它开发了一个线性相关性溢价,关闭,在加权均方误差损失的意义上,这样的贝叶斯估计。在第二步中,它假设的索赔额分布为一个给定的Bonus-Malus系统可以制定为一个有限的混合分布。然后,它评估的基础保费贝叶斯框架下,这样一个有限的混合分布。Loimaranta效率这样的线性相关性保费,几个奖金-Malus系统,已比较两个贝叶斯和普通的线性相关性保费。
2017-01-19 stat.ME
Learning Stochastic Shortest Path with Linear Function Approximation
Yale University(耶鲁大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了强化学习中的随机最短路径问题,其中转移核表示为未知模型的线性混合。我们称这类SSP问题为线性混合SSP。本文提出了一种新的基于Hoeffding型置信集的线性混合SSP学习算法,该算法可以获得$\tilde{\mathcal{O}}(d B_{\star}^{1.5}\sqrt{K/c_{\min}})$的遗憾值.这里,$K$是发作次数,$d$是混合模型中特征映射的维度,$B_{\star}$限定了最优策略的预期累积成本,而$c_{\min}>0$是成本函数的下界。我们的算法也适用于$c_{\min} = 0$和$\tilde{\mathcal{O}}(K^{2/3})$后悔保证的情况。据我们所知,这是第一个学习线性混合SSP的次线性后悔保证算法。此外,我们设计了一个改进的Bernstein型置信集,并提出了一种改进的算法,该算法可证明地实现了$\tilde{\mathcal{O}}(d B_{\star}\sqrt{K/c_{\min}})$遗憾。作为对遗憾上界的补充,我们还证明了$Ω(dB_{\star} \sqrt{K})$的一个下界.因此,我们的改进算法匹配的下限到一个$1/\sqrt{c_{\min}}$因子和多对数因子,实现了近最优的遗憾保证。
2022-07-05 cs.LG math.OC stat.ML
Learning Mixtures of Graphs from Epidemic Cascades
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑的问题,学习的两个无向图的平衡混合物的加权边缘从流行级联。虽然混合模型是流行的建模工具,但具有严格保证的算法开发已经滞后。混合图显然也不例外:到目前为止,很少有人知道这个问题是否可解。据我们所知,我们建立了第一个必要和充分条件,这个问题是可解的多项式时间上的边分离图。当条件满足时,即,当图至少有三条边连通时,我们给出了一个有效的学习两个图的权值的算法,该算法具有最优的样本复杂度(直到对数因子)。我们给出了互补的结果,并提供样本最优(最多日志因子)算法的混合物的有向图的度至少为三,混合物的无向图的不平衡和/或未知的先验。
2020-01-29 cs.LG cs.SI stat.ML
Estimating Mixture Models via Mixtures of Polynomials
Stanford University(斯坦福大学)
混合建模是一种通过加权组合使任何简单模型更具表达力的通用技术。这种通用性和简单性部分解释了期望最大化(EM)算法的成功,在该算法中,很容易为广泛的混合模型导出更新。然而,混合模型的可能性是非凸的,因此EM没有已知的全局收敛保证。最近,矩量法方法提供了一些混合模型的全局保证,但它们不容易扩展到现有的混合模型的范围。在这项工作中,我们提出了Polymom,一个统一的框架,基于矩量法的估计程序很容易推导,就像在EM。当单个混合组分的矩是参数的多项式时,多项式是适用的。我们的关键观察是,混合模型的矩是这些多项式的混合,这使我们能够将估计转换为广义矩问题。我们使用半定优化来求解其松弛,然后使用计算机代数的思想来提取参数。这个框架使我们能够从凸优化,计算机代数和矩理论中汲取见解和应用工具来研究统计估计中的问题。
2016-03-28 cs.LG stat.ML
Training Gaussian Mixture Models at Scale via Coresets
如何在海量数据集上训练统计混合模型?在这项工作中,我们将展示如何构建混合高斯coresets。核心集是数据的加权子集,这保证了拟合核心集的模型也为原始数据集提供了良好的拟合。我们发现,也许令人惊讶的是,高斯混合承认coresets的大小多项式的尺寸和混合成分的数量,而独立的数据集的大小。因此,人们可以利用计算密集型算法来计算一个非常小的数据集上的一个很好的近似。更重要的是,这样的核心集可以有效地构建在分布式和流设置,并不施加限制的数据生成过程。我们的研究结果依赖于一个新的减少统计估计问题的计算几何和新的组合复杂性结果的混合高斯。几个真实世界的数据集上的实证评估表明,我们的基于核心集的方法可以显着减少训练时间,近似误差可以忽略不计。
2018-01-15 stat.ML
Component-weighted sparse group LASSO for finite mixture regression models
University of Guelph(圭尔夫大学)
针对有限混合回归模型,提出分量加权稀疏组LASSO方法,同时实现组级和个体级变量选择,并通过MM算法优化,在模拟和真实数据中验证有效性。
2026-09-16 stat.AP stat.ME
Weighted KS Statistics for Inference on Conditional Moment Inequalities
本文提出了条件矩不等式模型的置信区域,该模型使用Kolmogorov-Smirnov统计量,并采用截断逆方差加权和增加截断点.新的加权不同于文献中提出的在两个重要方面。首先,基于KS检验和我提出的加权函数的置信区域以比基于广泛模型类别中有界加权函数的现有程序更快的速度收敛到已识别集。这提供了一个理论上的理由,在这种情况下,逆方差加权,并与条件矩等式中的最佳加权只影响渐近方差的类似结果。第二,新的权重改变了KS统计量本身的渐近行为,包括收敛速度,这就需要一个新的渐近理论来选择临界值,我提供了这个理论。为了进行这些比较,我得出收敛速度的置信区域,我提出了新的结果,现有的估计收敛速度下的一般条件。一系列例子说明了这些条件的广泛适用性。蒙特卡罗研究检验了置信区域的有限样本行为。
2011-12-05 stat.AP
Generalized Linear Gaussian Cluster-Weighted Modeling
CWM是一种灵活的混合建模方法,用于将来自异质总体的数据的联合概率建模为边缘分布和条件分布的乘积的加权和。本文引入一类广义线性高斯簇加权模型,其中假设条件分布属于具有标准链的指数族.此外,我们表明,在适当的意义下,混合的广义线性模型可以被认为是嵌套在广义线性高斯簇加权模型。该建议说明了通过许多数值研究的基础上模拟和真实的数据集。
2012-12-19 stat.AP stat.CO stat.ME
Uncertainty quantification in automated valuation models with spatially weighted conformal prediction
University of Oslo(奥斯陆大学);North Carolina State University(北卡罗来纳州立大学)
针对房价预测中保形预测置信集因空间依赖性而校准不均的问题,提出基于空间加权非一致性分数的校准方法,并在奥斯陆房地产数据及模拟研究中验证了其能提升地理区域间覆盖范围的一致性。
2025-01-30 cs.LG stat.AP stat.ML
MOVER confidence intervals for a difference or ratio effect parameter under stratified sampling
临床试验中通常采用分层,以减少协变量失衡的机会,并提高处理效应估计的精度。本文提出了一种利用方差估计恢复(MOVER)方法构造分层抽样下差异或比率效应参数置信区间的一般框架。我们考虑差异的加性方差和加性CI方法,其中加权差异的CI,或每组中加权效应的CI,或加权差异的方差被计算为相应的特定于层的统计量的加权和。通过Fieller和对数比率法推导出该比率的CI。在跨层效应恒定的假设下,权重可以是随机量,但对于固定权重,不需要此假设。这些方法可以很容易地应用于不同的终点,因为它们只需要点估计值、CI和方差估计值来测量分层中每个组的兴趣。最后用两个实例说明了该方法。在一个例子中,我们推导出二元结果的风险差和风险比的MOVER CI。在另一个例子中,我们比较了时间事件结局分层分析中的限制平均生存时间和里程碑生存。仿真结果表明,建议的MOVER CI一般优于标准的大样本CI,和加性CI方法的性能略好于加性方差方法。
2021-10-25 stat.AP stat.ME