Estimation of Non-Normalized Mixture Models and Clustering Using Deep Representation
The University of Tokyo(东京大学);University College London(伦敦大学学院);University of Helsinki(赫尔辛基大学)
我们开发了一个通用的方法来估计有限的混合非归一化模型。这里,非归一化模型被定义为具有难以处理的归一化常数的参数分布。现有的方法估计非归一化模型,而不计算归一化常数不适用于混合模型,因为它们包含一个以上的棘手的归一化常数。所提出的方法是通过扩展噪声对比估计(NCE),估计非归一化模型之间的观测数据和一些人为产生的噪声进行区分。我们还提出了一个扩展的NCE与多个噪声分布。然后,基于观察,传统的分类学习与神经网络是隐含地假设一个指数族作为一个生成模型,我们介绍了一种方法,通过估计一个指数族中的分布的有限混合聚类未标记的数据。该混合模型的估计是通过建议的NCE扩展来实现的,其中神经网络的训练数据被用作噪声。因此,所提出的方法提供了一种能够利用深度表示的概率原则聚类方法。使用深度神经网络进行图像聚类的应用给出了有希望的结果。
2018-05-19 cs.LG stat.ML
Robust Fitting of Mixture Models using Weighted Complete Estimating Equations
混合模型考虑了数据中潜在的异质性,被广泛用于分类和聚类问题。混合模型可以使用期望最大化算法进行估计,该算法使用基于混合模型的分层表达的聚类分配的潜在隶属度变量所限定的完整估计方程。然而,当混合成分具有轻尾(light tail)(例如正态分布)时,混合模型可能对离群值敏感。提出了一种混合模型稳健拟合的加权完全估计方程(WCE)方法。我们的WCE引入了权重来完成估计方程,使得权重可以自动降低离群值的权重。权重的构造类似于混合模型的密度幂散度,但在我们的WCE中,它们仅取决于组分分布,而不是整个混合。一种新的期望估计方程(ESTA)算法也被开发来解决WCE。为了说明的目的,一个多元高斯混合,专家的混合物,和一个多元的偏正态混合物被认为是,以及如何实现我们的算法可以为这些特定的模型进行了描述。使用模拟和真实数据集检验了所提出的稳健估计方法的数值性能。
2022-03-17 stat.ME
Amortized Bayesian Mixture Models
本文提出一种适用于混合模型的均摊贝叶斯推断框架,通过生成神经网络和分类网络结合,实现参数推断和混合成员识别,支持独立和依赖混合模型,并在合成和真实数据集上进行了验证。
2026-03-16 cs.LG stat.CO stat.ML
Estimating the Number of Components in Finite Mixture Models via the Group-Sort-Fuse Procedure
有限混合模型的分量数(或阶数)的估计是统计学中一个长期存在且具有挑战性的问题。本文提出了一种新的惩罚似然估计方法--分组排序似然法(GSF),用于同时估计多维有限混合模型的序和混合测度。与使用模型复杂性标准拟合和比较具有不同阶数的混合物的方法不同,我们的方法直接惩罚模型参数的连续函数。更具体地说,给定一个保守的上界的顺序,GSF组和排序的混合成分参数,融合那些是多余的。对于范围广泛的有限混合模型,我们证明了GSF是一致的,在估计真正的混合顺序,并实现了$n^{-1/2}$收敛速度的参数估计多对数的因素。GSF是在R包GroupSort中为几个单变量和多变量混合模型实现的。它的有限样本的性能是支持一个彻底的模拟研究,并说明其应用程序的两个真实数据的例子。
2021-08-04 math.ST stat.ME stat.ML
Estimating the Ratio of Means in a Zero-inflated Poisson Mixture Model
研究了两组分Poisson混合模型的均值比的估计问题,当每个组分都服从零膨胀,即,超过零计数。的.由此得到的{ \it zero-inflated Poisson mixture(ZIPM)模型}可以被看作是具有一个退化分量的三分量Poisson mixture模型。EM算法应用于获得频率估计和它们的标准误差,后者通过观测信息矩阵的显式表达式确定。贝叶斯和经验贝叶斯估计也得到共轭先验及其基于数据的变体。最后,比较了ZIPM分布和ZTP(零截尾泊松)分布。
2022-03-30 math.ST stat.TH
Estimating the Number of Components in a Mixture of Multilayer Perceptrons
BIC准则被神经网络社区广泛用于模型选择任务,尽管其收敛性质并不总是在理论上成立。在本文中,我们将集中在多层感知器的混合估计的组件的数量,并证明在此框架下的BIC准则的收敛性。分别由Keribin(2000)和Gassiat(2002)引入的混合模型和隐马尔可夫模型的惩罚边缘似然被扩展到多层感知器的混合,并提出了惩罚似然准则。我们证明了它的收敛性的一些假设,其中涉及到广义得分函数类的括号熵,并说明了它的一些数值例子。
2008-04-04 math.ST stat.TH
Estimating Joint Probability Distribution With Low-Rank Tensor Decomposition, Radon Transforms and Dictionaries
IIT Bombay(印度理工学院孟买分校);Walmart Global Tech(沃尔玛全球科技)
本文提出一种结合字典表示一维密度与随机投影从一维边缘分布重建联合概率密度的方法,利用低秩张量分解假设,在合成数据上相比字典方法和GMM取得更优估计性能与样本复杂度。
2023-04-18 cs.LG eess.SP stat.ML
Uncertainty about Uncertainty: Optimal Adaptive Algorithms for Estimating Mixtures of Unknown Coins
Brown University(布朗大学);IAS(高等研究院);Purdue University(普渡大学)
给定两个硬币群体之间的混合物,“正”硬币,每个都有-未知的和潜在的不同-偏置$\geq\frac{1}{2}+Δ$和“负”硬币与偏置$\leq\frac{1}{2}-Δ$,我们考虑的任务,估计分数$ρ$的正硬币内的附加误差$ε$。我们实现了$1-δ$成功概率的$Θ(\fracρ{ε^2Δ^2}\log\frac{1}δ)$样本的上限和下限,其中至关重要的是,我们的下限适用于所有完全自适应算法。因此,我们的样本复杂性界限对每个相关的问题参数都有紧密的依赖性。我们的下界证明的一个关键组成部分是一个分解引理(见引理17和18),展示了如何将部分自适应界组装成完全自适应界,这可能是独立的兴趣:虽然我们在伯努利随机变量(硬币)的特殊情况下调用它,但它适用于一般分布。我们目前的模拟结果,以证明我们的方法的实际效果为现实的问题参数众包应用程序,专注于“罕见事件”的制度,其中$ρ$是小的。我们的算法和下限的细粒度自适应风味与以前的工作在分布式测试和学习。
2021-02-05 cs.DS cs.LG stat.ML
Estimating Mixture Distributions via Stochastic Mirror Descent
Department of Electrical and Computer Engineering(电气与计算机工程系);University of California San Diego(加州大学圣地亚哥分校)
针对从样本中估计未知分布的问题,提出基于随机镜像下降(SMD)的混合模型估计器族,通过选择Bregman散度实现灵活估计,在大规模候选分量下保持高效,并在KL散度和ℓ2范数下达到近最优收敛率。
2026-05-24 cs.IT cs.LG math.IT
An Introduction to the Practical and Theoretical Aspects of Mixture-of-Experts Modeling
La Trobe University(拉筹伯大学);Normandie Universite(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心)
专家混合模型(Mixture-of-Experts,MoE)是对复杂数据生成过程(DGP)中产生的数据进行建模的强大范例。在这篇文章中,我们演示了如何构建不同的MoE模型来近似任意类型数据的底层DGP。由于概率性质的MoE模型,我们提出了最大拟似然(MQL)估计作为一种方法估计MoE模型参数的数据,我们提供的条件下,MQL估计是一致的和渐近正态的。提出了块最小化-最大化(blockwise-MM)算法框架,作为构造获得MQL估计的算法的通用方法。提供了逐块MM算法的示例推导。然后,我们提出了一种方法来构建信息准则估计的数量在MoE模型和经典的贝叶斯信息准则(BIC)提供的理由。我们解释了如何使用MoE模型进行分类,聚类和回归,我们说明了这些应用程序通过一对工作的例子。
2017-07-12 cs.LG stat.ML
Estimating Mixture Entropy with Pairwise Distances
混合分布出现在许多参数和非参数设置中-例如,在高斯混合模型和非参数估计中。通常需要计算混合物的熵,但在大多数情况下,这个量没有封闭形式的表达式,因此需要某种形式的近似。我们提出了一个家庭的估计的基础上的成对距离函数的混合成分,并表明,这种估计类有许多有吸引力的性质。对于许多感兴趣的分布,所提出的估计是有效的计算,可微的混合参数,并成为准确的混合成分时,聚类。我们证明了这个家庭包括下限和上限的混合熵。当被选择为距离函数时,Brackoff $α$ -发散给出了一个下限,其中Bhattacharyya距离为对称的组件和位置族的成员提供了最紧的下限。当用作距离函数时,Kullback-Leibler散度给出了上限。我们提供了封闭形式的表达这些界限的混合高斯,并讨论其应用程序的互信息的估计。然后,我们证明,我们的界限显着更紧比众所周知的现有的界限,使用数值模拟。这个估计器类在涉及熵和互信息的最大化/最小化的优化问题中非常有用,例如MaxEnt和率失真问题。
2018-08-22 cs.IT math.IT stat.ME
An approximate Bayesian marginal likelihood approach for estimating finite mixtures
当混合分布的支持未知时,有限混合模型的估计是一个重要的问题。本文提出了一种新的基于边际似然的未知支持度估计方法。受贝叶斯Dirichlet先验模型的启发,提出了一种计算效率高的边际似然随机逼近形式,并给出了大样本理论。通过将支持度限制在有限网格上,采用模拟退火方法来最大化边际似然并估计支持度。实际和模拟数据的例子表明,这种新的随机逼近-模拟退火过程优于现有的方法。
2012-02-13 stat.CO stat.ME
Estimating the Number of Components in Finite Mixture Models via Variational Approximation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Maryland, College Park(马里兰大学帕克分校)
本文提出一种基于变分贝叶斯的方法,通过ELBO的渐近性质选择有限混合模型的组件数量,证明了最大化ELBO的模型选择一致性,并展示了变分近似在模型误设下的稳定性及参数估计的收敛性。
2026-04-22 math.ST stat.ME stat.ML
A Method of Moments for Mixture Models and Hidden Markov Models
University of California, Irvine(加州大学欧文分校);Microsoft Research New England(微软新英格兰研究院)
混合模型是应用统计学和机器学习中用于处理从多个子群体获取的数据的基本工具。用于估计这种模型的参数的当前实践依赖于局部搜索算法(例如,EM算法),而现有的一致性方法由于它们的高计算和样本复杂性(其通常随混合物组分的数量呈指数地缩放)而不利。这项工作开发了一种有效的矩方法的参数估计方法的一个广泛的类别的高维混合模型与许多组件,包括多视图混合高斯(如轴对齐高斯的混合)和隐马尔可夫模型。新方法导致严格的无监督学习的混合模型,没有实现以前的作品的结果,而且,由于其简单性,它提供了一个可行的替代EM的实际部署。
2012-09-05 cs.LG stat.ML
Estimating animal abundance with N-mixture models using the R-INLA package for R
成功的野生动物种群管理需要准确的丰度估计。在野生动物调查中,不完善的检测可能会混淆粗略的估计。N-混合物模型能够量化检测概率,并在适当条件下产生偏差较小的丰度估计值。在这里,我们演示了使用R的R-INLA包来分析N-混合模型,并将R-INLA的性能与其他两种常见方法进行比较:JAGS(通过R的runjags包),它使用马尔可夫链蒙特卡罗并允许贝叶斯推断,以及R的未标记包,它使用极大似然并允许频率论推断。我们表明,R-INLA是一个有吸引力的选择,用于分析N-混合模型时,(i)快速的计算时间是必要的(R-INLA是10倍快于未标记和500倍快于JAGS),(ii)熟悉的模型语法和数据格式(相对于其他R包)是理想的,(iii)调查水平的协变量检测是不必要的,(iv)贝叶斯推断是首选。
2018-08-15 stat.AP
Estimating the Mean and Variance of a High-dimensional Normal Distribution Using a Mixture Prior
本文提供了一个估计高维正态密度均值和方差的框架。考虑的主要设置是一个固定数量的向量,遵循高维正态分布,具有未知的均值和对角协方差阵。对角协方差阵可以是已知的或未知的。如果协方差阵未知,则样本量可以小至$2$。建议的估计是基于这样的想法,即未观察到的对每个维度的均值和方差是从一个未知的二元分布,我们的模型作为一个混合的正常逆伽马。正态-逆Γ分布的混合提供了优于基于正态-正态模型的更传统的经验贝叶斯方法的优点。在拟合混合模型时,我们基本上是将每个维度的未观察到的均值和方差对聚类到不同的组中,每组具有不同的正态-逆Γ分布。每个均值的估计量是收缩估计的后验均值,每个收缩估计都将样本均值收缩到混合分布的不同分量。类似地,所提出的方差估计量在混合分布的样本方差和分量方面具有类似的解释。如果对角协方差阵是已知的,则样本量可以小到$1$,并且我们将每个维度的已知方差和未知均值对视为来自正态-逆Γ分布的灵活混合的随机观测。
2018-11-15 stat.CO stat.ME
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
高斯混合模型(GMM)是一种强大的参数化工具,在机器学习和计算机视觉中有着广泛的应用。期望最大化(EM)是估计GMM参数的最流行的算法。然而,EM仅保证收敛到对数似然函数的稳定点,这可能比最优解更差。受负对数似然函数和Kullback-Leibler(KL)散度之间的关系的启发,我们提出了一种替代配方,用于估计GMM参数使用切片Wasserstein距离,这产生了一个新的算法。具体来说,我们建议最小化混合模型和数据分布之间的切片Wasserstein距离相对于GMM参数。与KL发散相比,切片Wasserstein距离的能量景观更好,因此更适合于随机梯度下降方案以获得最佳GMM参数。我们表明,我们的配方结果的参数估计是更强大的随机初始化,并证明它可以估计高维数据分布更忠实于EM算法。
2017-11-16 cs.CV cs.LG stat.ML
Spatially Varying Coefficient Models for Estimating Heterogeneous Mixture Effects
本文提出基于 Bayesian additive regression trees 的空间变系数分位数 g-computation 模型,用于估计空气污染物混合物的空间异质健康效应,并在佐治亚州出生体重数据中识别出显著县级差异。
2025-02-20 stat.AP
Improving Variational Autoencoder Estimation from Incomplete Data with Mixture Variational Families
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
针对不完整数据下VAE估计中后验复杂度增加的问题,提出基于有限变分混合和插补变分混合的两种策略,并通过实验证明其能有效提升估计准确性。
2024-06-27 cs.LG stat.ML
Mixture Density Conditional Generative Adversarial Network Models (MD-CGAN)
University of Oxford(牛津大学);Oxford-Man Institute of Quantitative Finance(牛津-曼量化金融研究所)
生成对抗网络(GANs)近年来受到了极大的关注,特别是在计算机视觉中的应用令人印象深刻。然而,与这些例子相比,GANs在时间序列建模(包括预测)方面的应用更为有限。在这项工作中,我们提出了混合密度条件生成对抗模型(MD-CGAN),重点是时间序列预测。我们表明,我们的模型是能够估计的概率后验分布的预测,并在一组基准方法相比,MD-CGAN模型表现良好,特别是在噪声是一个重要组成部分的情况下观察到的时间序列。此外,通过使用高斯混合模型作为输出分布,MD-CGAN提供了非高斯的后验预测。
2020-12-04 cs.LG stat.ML
Estimating the health effects of environmental mixtures using Bayesian semiparametric regression and sparsity inducing priors
人类经常暴露于化学品和其他环境因素的混合物中,这使得量化与环境混合物相关的健康影响成为制定充分保护人类健康的环境政策的关键目标。对接触环境混合物的影响进行量化提出了若干统计挑战。通常情况下,暴露于多种污染物会相互作用,从而影响结果。此外,结果与某些暴露(如某些金属)之间的风险-响应关系可能表现出复杂的非线性形式,因为某些暴露在不同的暴露范围内可能是有益的,也可能是有害的。为了估计复杂混合物的健康影响,我们提出了一个灵活的贝叶斯方法,允许暴露相互作用,并与结果有非线性关系。我们使用多变量尖峰和板先验来诱导稀疏性,以确定哪些曝光与结果相关,以及哪些曝光相互作用。所提出的方法是可解释的,因为我们可以使用包含到模型中的后验概率来识别相互作用的污染物。我们说明了我们的方法的能力,使用模拟数据来估计复杂的功能,并将我们的方法应用于两项研究,以确定哪些环境污染物对健康产生不利影响。
2019-10-29 stat.ME
Estimating finite mixtures of semi-Markov chains: an application to the segmentation of temporal sensory data
在食品科学中,获得有关食物的时间感知的信息以创建新产品,修改现有产品或更普遍地理解感知机制是非常有趣的。感觉的时间优势(TDS)是一种测量时间感知的技术,包括在品尝过程中选择描述食品的顺序属性。这项工作介绍了新的统计模型的基础上有限的混合物的半马尔可夫链,以描述收集的数据与TDS协议,允许不同的时间感知同一产品内的人口。讨论了这类混合模型参数的可辨识性。逗留时间分布与伽马概率分布拟合,并且将惩罚添加到对数似然以确保期望最大化算法收敛到非退化解。信息准则用于确定混合组分的数目。然后,个人的定性轨迹聚类的帮助下,最大后验概率(MAP)的方法。仿真研究证实了所提出的估计过程的良好行为。该方法说明了一个例子,消费者对豪达奶酪的看法,并评估存在的几种行为方面的看法,这种产品。
2019-02-12 stat.AP stat.ME
Estimating order scale parameters of two scale mixture of exponential distributions
Indian Institute of Technology Bhilai(印度技术学院比莱分校)
本文提出改进估计方法,用于双尺度混合指数分布的有序尺度参数估计,并应用于多元Lomax分布和指数逆高斯分布。
2026-08-11 math.ST stat.TH
Modeling and estimating skewed and heavy-tailed populations via unsupervised mixture models
University of Trento(特伦托大学)
研究针对非负重尾数据开发混合模型,核心方法是用对数正态成分和帕累托型尾部建模,通过EM算法估计。贡献是模型完全无监督且灵活,拟合优度相当且更易估计,已在R包lognGPD实现。
2026-07-14 stat.ME
On learning parametric-output HMMs
Ben-Gurion University(本-古里安大学);Weizmann Institute of Science(魏茨曼科学研究所)
我们提出了一种新的方法来学习隐马尔可夫模型的输出分布根据一个参数的家庭。这是通过{\em解耦}学习任务分为两个步骤来完成的:首先估计输出参数,然后估计隐藏状态转移概率。第一步通过将混合模型拟合到输出平稳分布来完成。给定混合模型的参数,第二步被公式化为一个容易求解的凸二次规划的解。我们对估计的转移概率进行了误差分析,并表明它们对混合参数估计中的小扰动具有鲁棒性。最后,我们支持我们的分析与一些令人鼓舞的实证结果。
2013-02-25 cs.LG math.ST stat.ML
Efficient Density Estimation via Piecewise Polynomial Approximation
UC Berkeley(加州大学伯克利分校);University of Edinburgh(爱丁堡大学);Columbia University(哥伦比亚大学)
我们给出了一个高效的“半不可知”算法学习单变量概率分布,以及近似分段多项式密度函数。令$p$为区间$I$上的任意分布,其$τ$接近(在总变化距离上)未知概率分布$q$,该未知概率分布$q$由将$I$未知划分为$t$区间和指定每个区间上的$q$的$t$未知次数- $d$多项式定义。我们给出了一个算法,从$p$中抽取$\tilde{O}(t\new{(d+1)}/\eps^2)$样本,在时间上运行$\poly(t,d,1/\eps)$,并以高概率输出一个分段多项式假设分布$h$,即$(O(τ)+\eps)$ -接近(在总变化距离上)$p$。这个样本的复杂性基本上是最佳的,我们表明,即使是$τ=0$,任何算法,学习一个未知的$t$ -分段度$d$概率分布在$I$准确$\eps$必须使用$Ω({\frac {t(d+1)} {\poly(1 + \log(d+1))}} \cdot {\frac 1 {\eps^2}})$样本的分布,无论其运行时间。我们的算法结合了近似理论,一致收敛,线性规划和动态规划的工具。我们应用这个一般的算法,以获得广泛的结果,许多自然问题的密度估计在连续和离散域。这些包括用于学习对数凹分布的混合物的最新结果; $t$ -模态分布的混合物;单调风险率分布的混合物;泊松二项分布的混合物;高斯的混合物;以及$k$ -单调密度的混合物。我们的一般技术产生计算效率高的算法,…
2013-05-14 cs.DS cs.LG stat.ML
Extending the Patra-Sen Approach to Estimating the Background Component in a Two-Component Mixture Model
Patra和Sen(2016)考虑了一个两组分混合模型,其中一个组分扮演背景的角色,而另一个组分扮演信号的角色,并提出通过简单地“最大化”其权重来估计背景组分。虽然在他们的工作中,背景分量是一个完全已知的分布,我们在这里扩展他们的方法到三个象征性的设置:当背景分布是对称的;当它是单调的;当它是对数凹的。在每一个设置中,我们得到的背景分量的估计,建立一致性,并提供一个置信带。虽然背景分量的估计是简单的,当它被认为是对称或单调的,当它是对数凹的估计需要计算一个最大的凹次,我们使用序列二次规划实现。与现有的方法相比,我们的方法的优点是需要更少的先验知识的背景组件,因此不容易模型误指定。我们在一些合成和真实的数据集上说明了这种方法。
2021-06-26 stat.ME
Finite Mixtures of Generalized Estimating Equations for Clustering Multivariate Correlated Outcomes
Faculty of Economics, Keio University(庆应义塾大学经济学部);Research School of Finance, Actuarial Studies and Statistics, The Australian National University(澳大利亚国立大学金融、精算与统计研究学院)
针对多变量相关结局聚类问题,提出MixGEE模型,通过区域特定工作相关结构处理物种间相关性,经模拟验证可靠,应用于凯尔盖朗高原鱼类数据得到三类群落特征。
2026-09-07 stat.ME
Orthogonal Polynomials Approximation Algorithm (OPAA):a functional analytic approach to estimating probability densities
本文提出可并行的OPAA算法,通过将联合分布平方根映射到构造的泛函空间,以系数平方和一次遍历估计证据及概率密度。
2024-01-20 cs.LG math.FA stat.ML
Posterior consistency of Dirichlet mixtures of beta densities in estimating positive false discovery rates
近年来,多重假设检验已成为统计研究的前沿,表面上与基因组学和其他一些新兴领域的应用有关。错误发现率(FDR)及其变体提供了非常重要的概念,在这种情况下,错误的经典测试问题中的错误概率的作用。准确估计阳性FDR(pFDR),FDR的一种变体,在评估和控制这一措施是必不可少的。在最近的一篇论文中,作者提出了一种基于模型的非参数贝叶斯方法来估计pFDR函数。特别地,p值的密度被建模为降低的β密度的混合物,并且适当的狄利克雷过程被认为是混合度量的先验。结果表明,所产生的程序在模拟中工作良好。在本文中,我们提供了一些理论结果来支持β混合模型的密度的p值,并表明,在适当的条件下,所得到的后验是一致的假设的数量增长到无穷大。
2008-05-15 math.ST stat.TH
Estimating the number of household TV profiles based in customer behaviour using Gaussian mixture model averaging
Hamilton Institute, Maynooth University(马尼特大学哈密尔顿研究所);Department of Mathematics and Statistics, Maynooth University(马尼特大学数学与统计学系);Ulster University(乌斯特大学);British Telecommunications(英国电信)
针对家庭多人观看导致画像难识别的问题,提出高斯混合模型平均结合贝叶斯随机游走的框架,可估计家庭电视画像数量、特征演变及不确定性。
2025-05-15 cs.LG stat.ME
Sampling for Bayesian Mixture Models: MCMC with Polynomial-Time Mixing
UC Berkeley(加州大学伯克利分校);Voleon Group(沃利恩集团)
本文研究了贝叶斯高斯混合模型中的幂后验分布抽样问题。这种幂后验被认为是非对数凹和多模态的,这导致了一些标准MCMC算法的指数混合时间。我们介绍并研究了用于采样的反射大都会-黑斯廷斯随机游动(RMRW)算法。对于对称的两组分高斯混合模型,只要样本量$n$为$d (d + \Vert θ_{0} \Vert^2)$阶,我们证明了其混合时间有界为$d^{1.5}(d + \Vert θ_{0} \Vert^2)^{4.5}$.值得注意的是,该结果不需要对两个平均值的分离有任何条件。途中证明这个界限,我们建立了一些新的结果可能独立的利益,允许结合庞加莱不等式的条件和边际密度。
2019-12-11 cs.DS cs.LG math.PR
Bayesian binomial mixture models for estimating abundance in ecological monitoring studies
物种多度调查已成为许多生态监测研究的重要组成部分。这些研究的主要目的是了解特定物种如何在研究领域中分布,以及检测这些物种的抽样效率的量化。为了实现这些目标,在预定的访问期间对预选地点进行了取样,记录在每个地点观察到的物种数量。这导致空间参考的复制计数数据通常在结构上不平衡并表现出过度分散。巴尔的摩生态系统研究的动机,我们提出贝叶斯分层二项式混合模型,包括二项式康威-麦克斯韦泊松(Bin-CMP)混合模型,正式占不同程度的空间分散。我们提出的模型还允许通过实施可逆跳马尔可夫链蒙特卡罗方法的模型协变量和分散参数的分组的变量选择。最后,使用人口统计协变量从美国社区调查,我们证明了我们的方法的有效性,通过估计丰富的美国知更鸟(Turdus migratorius)在巴尔的摩生态系统研究。
2015-05-11 stat.AP
Expanding the Computation of Mixture Models by the use of Hermite Polynomials and Ideals
混合模型在许多领域都有应用。列举一些:无监督学习,经验贝叶斯,潜在类和特质模型。目前的应用混合模型的经验数据是有限的计算混合模型从相同的参数家庭,如高斯或泊松。本文证明了利用Hermite多项式和理想,混合过程的建模可以推广到包括不同的累积分布函数族。
2015-09-21 stat.CO
Flexible Mixture Modeling with the Polynomial Gaussian Cluster-Weighted Model
在混合建模框架下,本文提出了多项式高斯聚类加权模型(CWM)。它扩展了线性高斯CWM,二元数据,在一个双重的方式。首先,通过考虑多项式回归,它允许混合成分中可能的非线性依赖性。其次,它不限于用于基于模型的聚类,仅在最一般的基于模型的分类框架中进行上下文化。使用期望最大化算法导出极大似然参数估计,并使用贝叶斯信息准则(BIC)和综合完全似然(ICL)进行模型选择。本文还研究了多项式高斯CWM的成分隶属度的后验概率与其它已建立的相关混合模型的成分隶属度的后验概率相一致的条件,对于这些模型,多项式高斯CWM应用于本文所考虑的人工数据和真实数据时,都显示出优良的聚类和分类结果。
2012-07-04 stat.CO stat.ME
Adaptive Bayesian nonparametric regression using kernel mixture of polynomials with application to partial linear model
本文提出了一种贝叶斯非参数回归的核混合多项式先验。回归函数由具有核混合权重的多项式的局部平均来建模。我们得到的最小最优收缩率的充分后验分布的对数因子,适应的平滑程度的真实功能,通过估计某些功能类的度量熵。我们还提供了一个频率筛最大似然估计与接近最佳的收敛速度。我们进一步研究了多项式的核混合对部分线性模型的应用,并获得了非参数分量的近最优收缩率和Bernstein-von Mises极限(即,渐近正态性)。所提出的方法与数值例子说明,并显示优越的性能相比,本地多项式回归,DiceKriging,和强大的高斯随机过程的计算效率,精度和不确定性量化。
2018-09-13 math.ST stat.TH
Scalable Gaussian Process Regression Via Median Posterior Inference for Estimating Multi-Pollutant Mixture Health Effects
Google Research(谷歌研究);Department of Statistics University of California Davis(加州大学戴维斯分校统计系);Department of Environmental Health Harvard University(哈佛大学环境健康系);Department of Biostatistics Harvard University(哈佛大学生物统计学系)
本文提出基于中位数后验推断的分治策略,解决大规模数据下高斯过程回归的计算瓶颈,应用于估计环境污染物混合物对出生体重的影响。
2026-04-07 stat.ME
Estimating abundance-based generalized species accumulation curves
物种的数量可以通过从物种集合中取样个体来估计。研究了非参数Poisson混合模型中广义物种积累曲线的估计问题。提出了一种基于似然的估计器,并通过实例进行了说明。
2006-09-20 math.ST stat.TH
Estimating Perinatal Critical Windows of Susceptibility to Environmental Mixtures via Structured Bayesian Regression Tree Pairs
母亲在怀孕期间接触环境化学品可能会改变分娩和儿童的健康结果。研究旨在确定暴露可能改变未来健康结果的关键窗口和时间段,并估计风险-反应关系。现有的统计方法侧重于估计在高时间分辨率下观察到的母亲接触单一环境化学品(如整个怀孕期间每周一次)与儿童健康结果之间的关联。扩展到在高时间分辨率下观察到的多种化学品会带来维度问题,并且缺乏统计方法。我们提出了一个基于树的模型,在高时间分辨率下观察到的混合曝光。所提出的方法使用的结构化的树对,定义结构化的主效应和时间分辨的预测变量和变量选择之间的相互作用,选择出的模型预测不相关的结果的加法合奏。我们将我们的方法应用于模拟和分析在科罗拉多州丹佛市出生队列中,在整个妊娠期间每周测量的五次暴露与出生体重之间的关系。我们确定了细颗粒物,二氧化硫和温度与出生体重呈负相关的关键窗口以及细颗粒物和温度之间的相互作用。软件在R软件包dlmtree中提供。
2021-07-01 stat.ME
Gaussian Process Mixtures for Estimating Heterogeneous Treatment Effects
我们开发了一个高斯过程混合模型的异质处理效应估计,利用转换的结果。我们将提出的方法,试图改善相对于过去的工作,已转换的变量相关的方法,以及传统的结果建模的点估计和不确定性量化。使用转换结果对处理效应异质性建模的早期工作依赖于基于树的方法,例如单回归树和随机森林。在非参数模型的保护伞下,使用贝叶斯加性回归树和各种加权单树进行了结果建模。当大样本可用时,这些方法工作良好,但在较小的样本中,结果对模型误指定更敏感-我们的方法试图通过基于贝叶斯非参数的正确指定模型来提高推理质量。此外,虽然我们从一个假设治疗分配机制是已知的模型开始,但从数据中学习的扩展适用于观察性研究。我们的方法被应用到模拟和真实的数据,以证明我们的理论改进的推理方面的两个因果被估量:条件平均处理效应和平均处理效应。通过利用我们正确指定的模型,我们能够更准确地估计处理效应,同时减少其方差。
2018-12-18 stat.ME stat.OT
Learning High-Dimensional Mixtures of Graphical Models
UC Irvine(加州大学欧文分校);Microsoft Research New England(微软新英格兰研究院)
我们考虑离散图形模型的混合物的无监督估计,其中对应于混合物成分的类变量是隐藏的,并且观察到的变量上的每个混合物成分可以具有潜在的不同的马尔可夫图结构和参数。我们提出了一种新的方法来估计的混合物成分,我们的输出是一个树混合模型,作为一个很好的近似底层图形模型的混合物。我们的方法是有效的,当联合图,这是混合成分的马尔可夫图的联合,有稀疏的顶点之间的任何一对观察变量的分离器。这包括树混合和有界度图的混合。对于这样的模型,我们证明了我们的方法正确地恢复联盟图结构和树结构对应的混合成分的最大似然树近似。对于$p$ -变量图形模型的$r$ -组分混合物,我们的方法的样本和计算复杂度为$\poly(p, r)$。我们进一步扩展我们的结果的情况下,工会图有稀疏的本地分离器之间的任何一对观察到的变量,如混合物的局部树状图,和混合物成分的相关性衰减的制度。
2012-06-30 cs.AI cs.LG stat.ML
Polynomial Time and Private Learning of Unbounded Gaussian Mixture Models
McMaster University(麦克马斯特大学);Google(谷歌)
本文提出将 GMM 隐私参数估计归约为非隐私学习的黑盒私有化框架,基于 [MV10] 给出无参数有界性假设下的首个多项式时间差分隐私 GMM 学习算法及样本复杂度上界。
2023-06-07 cs.CR cs.DS cs.IT
Learning Mixtures of Discrete Product Distributions using Spectral Decompositions
Microsoft Research India(微软研究院印度);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究了从样本中学习分布的问题,当底层分布是离散域上的乘积分布的混合时。这个问题是由几个实际应用,如众包,推荐系统,学习布尔函数的动机。现有的解决方案要么严重依赖于混合物中组分的数量是有限的这一事实,要么具有在组分数量上呈指数的样本/时间复杂度。在本文中,我们介绍了一个多项式时间/样本复杂性的方法来学习混合的$r$离散产品分布在$\{1, 2, \dots, \ell\}^n$,一般$\ell$和$r$。我们表明,我们的方法是统计上一致的,并进一步提供有限的样本保证。我们使用的技术,从最近的工作张量分解高阶矩匹配。这些矩匹配方法的关键步骤是构造一个特定的矩阵和一个特定的张量与低秩谱分解。这些张量通常直接从样本中估计。学习离散乘积分布的混合物的主要挑战是这些低秩张量不能直接从样本矩中获得。相反,我们将张量估计问题简化为:$a$)仅使用非对角块元素来估计低秩矩阵;以及$b$)使用少量线性测量来估计张量。利用矩阵完备化的最新发展,我们给出了一种基于交替最小化的方法来估计低秩矩阵,并将张量完备化问题表示为最小二乘问题。
2014-05-17 cs.CC cs.IT cs.LG
Mixtures of Gaussians are Privately Learnable with a Polynomial Number of Samples
McMaster University(麦克马斯特大学);Vector Institute(向量研究所);Google(谷歌公司)
研究差分隐私下高斯混合模型的估计问题,提出基于列表可解码和局部小覆盖的新框架,首次在不做结构假设下证明了多项式样本数足以实现私有学习。
2024-04-23 cs.CR cs.DS cs.IT
On The Identifiability of Mixture Models from Grouped Samples
University of Michigan(密歇根大学)
有限混合模型是统计学和机器学习中经常出现的一类统计模型。在这种模型中,假设数据是从随机概率测度中提取的,称为混合分量,其本身是从概率测度上的概率测量P中提取的。在估计混合模型时,通常会对混合成分进行假设,例如参数假设。在本文中,我们没有对混合成分做任何假设,而是假设来自混合模型的观测是分组的,使得同一组中的观测已知来自同一成分。我们表明,任何混合的m概率测度可以唯一地确定,提供有2 m-1观察每组。此外,我们表明,对于任何m,存在一个混合的m概率测度,不能唯一地确定时,组有2 m-2的意见。我们的结果适用于任何含有多个元素的样本空间。
2022-04-02 cs.LG math.ST stat.ML
Learning Mixtures of Permutations: Groups of Pairwise Comparisons and Combinatorial Method of Moments
Georgia Institute of Technology(佐治亚理工学院);Yale University(耶鲁大学)
在秩聚合等应用中,当总体表现出异质性时,经常使用排列的混合模型。在这项工作中,我们研究了广泛使用的Malows混合模型。在高维设置中,我们提出了一个多项式时间算法,学习Mallow混合的$n$元素的最佳样本的复杂性,是成比例的$\log n$,改进以前的结果,规模与$n$的排列。在高噪声的制度,我们表征的样本复杂性的噪声参数的最佳依赖。这两个目标都是通过首先研究分层置换下的无噪声查询模型使用组的成对比较,这可以被看作是时刻的混合分布,然后将这些结果扩展到嘈杂的Mallow模型通过模拟无噪声的神谕。
2022-03-04 cs.DS cs.LG math.ST
A hierarchical Bayesian approach for estimating the origin of a mixed population
我们提出了一个分层贝叶斯模型来估计源种群的比例贡献一个新成立的殖民地。样本来自殖民地的第一代后代,但交配可能优先发生在来自同一来源种群的移民之间。新建立的殖民地和源种群的基因型被用来估计混合比例,混合比例与可能影响殖民过程的环境和人口因素有关。我们估计了一个单一的层次模型中的交配系数,混合比例,以及环境因素和混合比例之间的回归关系。在新建立的群体中基因型的第一阶段似然性是反映定殖过程的混合多项分布。环境和人口统计数据被纳入模型通过一个分层的先验结构。利用不同水平的群体分化和不同数量的遗传标记对模型进行了模拟研究。我们使用马尔可夫链蒙特卡罗(MCMC)模拟对模型参数的后验分布进行推断。我们将该模型应用到来自苏格兰奥克尼群岛的灰海豹的数据集。我们将我们的模型与以前用于分析这些数据的类似模型进行比较。从模拟和应用到实际数据的结果表明,我们的模型提供了更好的估计协变量的影响。
2008-05-21 stat.AP stat.ME
Privately Estimating Monotone Statistics in Polynomial Time
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Boston University(波士顿大学);MIT Mathematics(麻省理工学院数学系);University of Copenhagen(哥本哈根大学)
针对单调统计量的差分隐私估计,提出一种改进的子采样-聚合算法,在样本复杂度上节省因子t,运行时间增加因子e^t,并证明其最优性。
2026-05-28 cs.CR cs.DS cs.LG
Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology(空军理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本,然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证,我们分析了该算法的背景下,亚高斯混合模型。我们还研究了估计高斯中心的基本限制,以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
Piecewise regression mixture for simultaneous functional data clustering and optimal segmentation
Aix Marseille Université(艾克斯-马赛大学);Université de Toulon(土伦大学)
本文介绍了一种新的混合模型为基础的方法,同时聚类和最佳分割的功能数据,这是曲线政权的变化。所提出的模型包括在一个有限的混合分段多项式回归模型。每个分段多项式回归模型与聚类相关联,并且在每个聚类内,每个分段多项式分量与状态(即,段)。我们推导出两种方法来学习模型参数。前者是一种估计方法,包括通过一个专用的期望最大化(EM)算法最大限度地提高数据的似然性。然后通过最大化后验聚类概率,在收敛时得到K个聚类中曲线的模糊划分。然而,后者是一种分类方法,并通过专用的分类期望最大化(CEM)算法优化特定的分类可能性标准。采用动态规划法进行最优曲线分割。在分类方法中,曲线聚类和最优分割都是在CEM学习过程中同时进行的。我们证明了分类方法是概率版本,它推广了Hébrail等人(2010)提出的确定性K-means算法。所提出的方法进行评估,使用模拟曲线和现实世界的曲线。与包括回归混合模型和分段回归的K-means算法在内的替代方案的比较表明了该方法的有效性。
2014-04-30 cs.LG math.ST stat.ME
Estimating multivariate latent-structure models
给出了多路阵列多重线性分解的构造性证明。它可以应用于显示各种多元潜在结构的识别。例子是有限混合模型和隐马尔可夫模型。识别的关键步骤是一组矩阵在同一非正交基上的联合对角化。潜在结构模型的估计器然后可以基于该联合对角化问题的样本版本。算法可用于计算,我们推导出分布理论。进一步发展了混合模型中组分密度和隐马尔可夫模型中发射密度的正交级数估计的渐近理论。
2016-03-30 math.ST stat.TH
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题,我们建立一般条件下,家庭的非参数混合模型是可识别的,通过引入一个新的框架,涉及聚类过拟合\emph{parametric}(即误指定)混合模型。这些可识别性条件概括了文献中的现有条件,并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合,我们允许一般的非参数混合成分,而不是施加规律性假设的基础混合措施。作为我们的主要应用程序,我们将这些结果应用到基于分区的聚类,将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外,这个框架是建设性的,使它产生一个实用的算法学习识别的混合物,这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的,度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架,非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
Inference and Mixture Modeling with the Elliptical Gamma Distribution
我们研究了椭圆Γ分布(EGD)的建模和推理。我们考虑EGD散布矩阵的极大似然(ML)估计,为此我们开发了新的定点算法。我们的算法是有效的,收敛到全局最优,尽管非凸性。此外,它们比Kent & Tyler(1991)的著名迭代算法和复杂的流形优化算法都要快得多。随后,我们调用我们的ML算法作为子程序,用于估计混合EGD的参数。我们说明了我们的方法,将它们应用到自然图像统计模型-建议EGD混合模型产生最简约的模型之间的几个竞争的方法。
2015-12-20 math.OC stat.CO stat.ML
On the Identifiability of Finite Mixtures of Finite Product Measures
研究了有限积测度的有限混合的可识别性问题。考虑了一个含有$K$混合组分和$L$观测变量的混合模型,其中每个观测变量取值于一个具有基数$M$的有限集中,在每个混合组分中观测变量是独立的.混合模型的可辨识性是指通过观测混合模型的混合分布来获得混合模型组分参数的可能性。本文通过引入强可分变量和弱可分变量两种可分性,研究了混合模型的可辨识性与其观测变量的可分离性之间的基本关系。粗略地说,当且仅当一个变量在不同的混合成分中的概率分布存在差异时,它才被称为可分的。证明了当强可分变量个数大于或等于$2K-1$,独立形式为$M$时,混料模型是可辨识的.这个基本的阈值被证明是紧的,其中一个家庭的非可识别的混合模型小于$2K-1$强可分离的变量提供。我们还表明,混合模型是可识别的,如果他们至少有$2K$弱可分离的变量。为了证明这些定理,我们引入了一个特殊的多项式,称为特征多项式,它将可识别性条件转化为多项式的身份,并允许我们构造一个归纳证明。
2018-07-14 math.ST stat.TH