Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology（空军理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本，然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证，我们分析了该算法的背景下，亚高斯混合模型。我们还研究了估计高斯中心的基本限制，以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
On Excess Mass Behavior in Gaussian Mixture Models with Orlicz-Wasserstein Distances
狄利克雷过程混合模型（DPMM）与高斯核的结合已经成为生物，物理和社会科学中众多数据领域的重要建模工具。然而，在应用中的这种多功能性并不延伸到强有力的理论保证的基本参数估计，只有对数率实现。在本文中，我们（重新）引入并研究了一个度量，命名为Orlicz-Wasserstein距离，在贝叶斯收缩行为的参数的研究。我们表明，尽管整体缓慢收敛保证所有的参数，后收缩参数发生在几乎多项式率在离群区域的参数空间。我们的理论结果提供了新的见解，在理解所产生的参数的收敛行为从不同的设置层次贝叶斯非参数模型。此外，我们提供了一个算法来计算的指标，利用Sinkhorn分歧，并通过模拟研究验证我们的研究结果。
2023-01-27 math.ST stat.TH
Statistical Guarantees for Estimating the Centers of a Two-component Gaussian Mixture by EM
最近，开发了一种分析期望最大化算法统计准确性的通用方法，并将其应用于一些简单的潜变量模型[Balakrishnan等人，2016]。在该方法中，有效初始化的吸引域需要是围绕真理的球。利用Stein引理，我们将这些结果推广到估计$d$维中两组分高斯混合物中心的情形。特别是，我们显着扩大盆地的吸引力是一个半空间和一个球周围的原点的交叉点。如果信号噪声比至少是$ \sqrt{d\log d} $的常数倍，我们表明，随机初始化策略是可行的。
2016-08-07 stat.ML
Estimating order scale parameters of two scale mixture of exponential distributions
Indian Institute of Technology Bhilai（印度技术学院比莱分校）
本文提出改进估计方法，用于双尺度混合指数分布的有序尺度参数估计，并应用于多元Lomax分布和指数逆高斯分布。
2026-08-11 math.ST stat.TH
Improved Variational Bayesian Phylogenetic Inference using Mixtures
KTH Royal Institute of Technology（KTH皇家理工学院）；Science for Life Laboratory（生命科学实验室）
针对现有VBPI框架难以处理树拓扑后验多模态的问题，提出结合BBVI领域混合学习进展的VBPI-Mixtures算法，可建模VBPI无法捕捉的树拓扑分布，在多个真实系统发育数据集密度估计任务上达SOTA。
2023-10-02 cs.LG stat.ML
Rates of Convergence of Maximum Smoothed Log-Likelihood Estimators for Semi-Parametric Multivariate Mixtures
Univ. Rennes, CNRS, IRMAR-UMR 6625（雷恩大学）；Department of Statistics, Purdue University（普渡大学统计学系）
本文首次为半参数有限混合模型中基于平滑对数似然的最大估计量建立了严格理论保证，证明其一致性并推导有限维与无限维参数的收敛速率，弥合了实用算法与统计理论之间的差距。
2025-11-06 math.ST stat.TH
Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning
University of Tübingen（图宾根大学）；University of Cambridge（剑桥大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
深度神经网络倾向于对离群值进行过度自信的预测。贝叶斯神经网络和深度集成都被证明可以在一定程度上缓解这个问题。在这项工作中，我们的目标是结合这两种方法的优点，提出用高斯混合模型后验进行预测，该模型由独立训练的深度神经网络的拉普拉斯近似的加权和组成。该方法可以与任何一组预先训练的网络一起使用，并且与常规集成相比只需要很小的计算和内存开销。我们从理论上验证，我们的方法减轻过度自信“远离”的训练数据和经验比较对国家的最先进的基线标准的不确定性量化基准。
2021-11-05 cs.LG stat.ML
Estimating Mixture Models via Mixtures of Polynomials
Stanford University（斯坦福大学）
混合建模是一种通过加权组合使任何简单模型更具表达力的通用技术。这种通用性和简单性部分解释了期望最大化（EM）算法的成功，在该算法中，很容易为广泛的混合模型导出更新。然而，混合模型的可能性是非凸的，因此EM没有已知的全局收敛保证。最近，矩量法方法提供了一些混合模型的全局保证，但它们不容易扩展到现有的混合模型的范围。在这项工作中，我们提出了Polymom，一个统一的框架，基于矩量法的估计程序很容易推导，就像在EM。当单个混合组分的矩是参数的多项式时，多项式是适用的。我们的关键观察是，混合模型的矩是这些多项式的混合，这使我们能够将估计转换为广义矩问题。我们使用半定优化来求解其松弛，然后使用计算机代数的思想来提取参数。这个框架使我们能够从凸优化，计算机代数和矩理论中汲取见解和应用工具来研究统计估计中的问题。
2016-03-28 cs.LG stat.ML
Learning Mixtures of Linear Dynamical Systems
Princeton University（普林斯顿大学）
我们研究了学习混合的多个线性动力系统（LDS）从未标记的短样本轨迹，每个生成的LDS模型之一的问题。尽管时间序列数据的混合模型具有广泛的适用性，但现有文献中基本上没有端到端性能保证的学习算法。存在多个技术挑战来源，包括但不限于（1）潜在变量（即轨迹的未知标签）的存在;（2）样本轨迹可能具有比LDS模型的维度$d$小得多的长度的可能性;以及（3）时间序列数据固有的复杂时间依赖性。为了解决这些挑战，我们开发了一个两阶段的元算法，这是保证有效地恢复每个地面实况LDS模型的错误$\tilde{O}(\sqrt{d/T})$，其中$T$是总样本量。我们验证了我们的理论研究与数值实验，确认所提出的算法的有效性。
2022-05-25 cs.LG cs.SY eess.SY
Overspecified Mixture Discriminant Analysis: Exponential Convergence, Statistical Guarantees, and Remote Sensing Applications
Machine Learning Department（机器学习系）；Mohamed bin Zayed University of Artificial Intelligence（马尔代夫比内扎伊德人工智能大学）；Remote Sensing Department（遥感系）；National Center of Space Research and Technology（国家航天研究与技术中心）；Department of Mathematical Sciences（数学科学系）；Purdue University Fort Wayne（普渡大学富尔顿分校）；Department of Mathematics and Statistics（数学与统计学系）；University of Minnesota Duluth（明尼苏达大学杜鲁斯分校）；Department of Mathematics（数学系）；Nazarbayev University（纳扎尔巴耶夫大学）
本研究分析了过指定条件下混合判别分析（MDA）的分类误差，证明EM算法在总体水平指数收敛至贝叶斯风险，有限样本下分类误差以 $n^{-1/2}$ 速率收敛，并在遥感数据集上验证了理论。
2025-10-30 cs.LG stat.ML
Improved robust Bayes estimators of the error variance in linear models
考虑了一般线性模型中的误差方差估计问题，其中假设误差分布是球对称的，但不一定是高斯分布。特别是，我们研究的情况下，包括特别重要的情况下，多元t分布的尺度混合高斯。在Stein损失下，我们构造了一类改进了通常的最佳无偏（和最佳等变）估计的估计量。我们的类具有有趣的双重鲁棒性，同时广义贝叶斯（对于相同的广义先验）和极大极小在整个类的混合高斯分布的规模。
2013-03-13 math.ST stat.TH
Bayesian improved cross entropy method with categorical mixture models
本文提出基于类别混合模型的贝叶斯改进交叉熵方法，通过加权MAP估计和广义EM算法缓解过拟合并估计静态网络稀有事件，数值实验表明其显著优于标准iCE方法。
2023-09-21 stat.AP stat.ME
Generalized Identifiability Bounds for Mixture Models with Grouped Samples
Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
最近的工作表明，只要可以访问已知来自相同混合成分的大小为$2m-1$的样本组，具有$m$成分的有限混合模型是可识别的，同时不对混合成分做出任何假设。在这项工作中，我们推广的结果，并表明，如果每个子集的混合模型的$k$混合成分是线性无关的，那么该混合模型是可识别的，每组只有$(2m-1)/(k-1)$样本。我们进一步表明，这个值不能提高。我们证明了一个类似的结果，一个更强的形式的可识别性被称为“determinedness”以及相应的下界。如果从一个$k$维空间中随机选择混合组分，则这种独立性假设几乎肯定成立。我们描述了我们的研究结果多项式混合模型和主题建模的一些影响。
2022-07-22 cs.LG math.ST stat.ML
Adaptive Bayesian multivariate density estimation with Dirichlet mixtures
我们表明，率自适应的多变量密度估计可以使用贝叶斯方法的基础上正常内核的协方差阵参数的先验分布的Dirichlet混合物。我们推导出充分条件的事先说明，保证收敛到一个真正的密度的速度是最佳的极小极大的平滑类的真正的密度属于。假设没有平滑度的先验知识。的充分条件示出持有的Dirichlet位置混合的法线之前的高斯基测量和逆Wishart之前的协方差阵参数。局部Hölder光滑类和它们的各向异性扩展。我们的研究涉及到几个技术创新，包括尖锐的逼近可微多元密度正常的混合物和一个新的筛子上的空间，这种密度。
2013-03-19 math.ST stat.TH
A provable initialization and robust clustering method for general mixture models
本文针对一般混合模型提出基于多元截尾均值质心估计的鲁棒初始化与聚类方法，在有限簇数和维度下可证明达到接近最优的误标号率，并能抵抗重尾误差和对抗离群点，同时证明Lloyd算法在多簇或重尾情形下次优。
2024-10-23 math.ST stat.ML stat.TH
Brown's loss function and estimation of the scale parameter and the entropy in scale mixture models with unknown location
University of Patras（帕特雷大学）
该研究针对含未知位置的尺度混合模型，采用Kubokawa方法推导尺度参数σ的改进估计量，进而得到熵的改进估计量，并将结果应用于多元t分布等尺度混合模型。
2026-10-12 math.ST stat.TH
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题，我们建立一般条件下，家庭的非参数混合模型是可识别的，通过引入一个新的框架，涉及聚类过拟合\emph{parametric}（即误指定）混合模型。这些可识别性条件概括了文献中的现有条件，并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合，我们允许一般的非参数混合成分，而不是施加规律性假设的基础混合措施。作为我们的主要应用程序，我们将这些结果应用到基于分区的聚类，将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外，这个框架是建设性的，使它产生一个实用的算法学习识别的混合物，这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的，度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架，非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
Maximum Number of Modes of Gaussian Mixtures
高斯混合模型在统计学中有着广泛的应用。这些分布的一个基本方面是密度或模式的局部最大值的研究。具体地，不知道$d$维度中的$k$高斯的混合可以具有多少模式。我们简要介绍了这个问题的历史。在有限的条件下，给出了改进的最大模数的下界和第一上界。
2019-04-18 math.OC math.PR math.ST
Gaussian Mixture Model with unknown diagonal covariances via continuous sparse regularization
Centrale Lyon, CNRS UMR 5208, Institut Camille Jordan（里昂中央理工学院，法国国家科学研究中心联合研究实验室5208，卡米尔·乔丹研究所）；Institut Universitaire de France (IUF)（法兰西学院）；Univ. Claude Bernard, CNRS UMR 5208, Institut Camille Jordan（克洛德·贝尔纳大学，法国国家科学研究中心联合研究实验室5208，卡米尔·乔丹研究所）
本文提出利用Beurling-LASSO方法估计具有未知对角协方差的高斯混合模型，同时估计组件数量和参数，并在理论上证明了非渐近恢复保证和近参数收敛率。
2026-07-27 math.ST stat.ML stat.TH
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文研究老虎机反馈下带未知转移和对抗损失的线性混合MDP强化学习，提出利用全状态访问信息的最小二乘估计器与适配的自归一化浓度方法，得到更优的高概率遗憾界。
2024-03-07 cs.LG stat.ML
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification
Carnegie Mellon University（卡内基梅隆大学）
对抗鲁棒性已经成为现代机器学习应用中的基本要求。然而，迄今为止，令人惊讶的是，统计学上的理解很少。本文在\cite{schmidt2018adversarially}提出的高斯混合模型下，给出了对抗鲁棒分类系统超额风险的最优Minimax保证的第一个结果.结果以对抗信噪比（AdvSNR）表示，它将标准线性分类的类似概念推广到对抗环境。对于AdvSNR值为$r$的高斯混合，我们建立了$Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$阶的超额风险下界，并设计了一个计算效率高的估计器，以实现此最佳速率。我们的结果建立在最小的假设集，同时涵盖了广泛的对抗性扰动，包括任何$p \ge 1$的$\ell_p$球。
2020-06-29 cs.LG stat.ML
Infinite Mixture Models for Improved Modeling of Across-Site Evolutionary Variation
针对跨位点进化变异建模中先验划分难的问题，研究多种无限混合模型并适配高效算法与并行计算，在BEAST X中实现框架，发现不同模型适配不同病毒数据集场景。
2024-12-08 q-bio.PE stat.ME
The Parametric Stability of Well-separated Spherical Gaussian Mixtures
University of Washington（华盛顿大学）
本文研究了分布空间中小扰动下球形高斯混合模型（sGMM）的参数稳定性。也就是说，我们推导出第一个明确的界限，以表明，对于一个混合的球形高斯$P$（sGMM）在一个预定义的模型类，所有其他sGMM接近$P$在这个模型类中的全变差距离有一个小的参数距离$P$。此外，该上限仅取决于$P$。这项工作的动机在于为拟合高斯混合物提供保证;考虑到这一目标，所涉及的所有常数都是定义良好的，并且是拟合球面高斯混合物的分布自由条件。我们的研究结果大大收紧现有的可计算的界限，并渐近匹配这个问题的已知的尖锐的阈值。
2023-02-01 cs.LG stat.ML
Quantum Expectation-Maximization for Gaussian Mixture Models
IRIF（法国国家科学研究中心与巴黎西岱大学联合基础计算机科学研究所）；Paris（巴黎西岱大学）；QCWare Corp.（QCWare公司）；Atos Quantum Lab（源讯量子实验室）
期望最大化（EM）算法是无监督机器学习中的一个基本工具。它经常被用来作为一种有效的方法来解决极大似然（ML）估计问题，特别是对模型的潜在变量。它也是拟合混合模型的首选算法：生成模型将源自$k$不同过程的未标记点表示为来自$k$多变量分布的样本。在这项工作中，我们定义并使用量子版本的EM来拟合高斯混合模型。给定对维度为$d$的$n$向量的数据集的量子访问，我们的算法具有与经典算法类似的收敛性和精度保证，但是运行时间仅在训练集中的元素数量上是多对数的，并且在其他参数上是多项式的-如特征空间的维度和混合物中的分量的数量。我们进一步推广的算法在两个方向。首先，我们展示了如何拟合指数族中概率分布的任何混合模型。然后，我们展示了如何使用该算法来计算混合模型的最大后验（MAP）估计：似然估计问题的贝叶斯方法。我们讨论了该算法在一个数据集上的性能，该数据集预计将被成功地分类，该算法认为，在这些情况下，我们可以在运行时给予强有力的保证。
2020-07-07 cs.DS cs.LG quant-ph
Confidence set for mixture order selection
针对高斯混合模型阶数选择的不确定性问题，提出模型选择置信集（MSCS），基于惩罚似然比筛选所有合理阶数，提供渐近覆盖保证，并通过模拟和真实数据验证优势。
2025-06-24 math.ST stat.ME stat.TH
Learning Stochastic Shortest Path with Linear Function Approximation
Yale University（耶鲁大学）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了强化学习中的随机最短路径问题，其中转移核表示为未知模型的线性混合。我们称这类SSP问题为线性混合SSP。本文提出了一种新的基于Hoeffding型置信集的线性混合SSP学习算法，该算法可以获得$\tilde{\mathcal{O}}(d B_{\star}^{1.5}\sqrt{K/c_{\min}})$的遗憾值.这里，$K$是发作次数，$d$是混合模型中特征映射的维度，$B_{\star}$限定了最优策略的预期累积成本，而$c_{\min}>0$是成本函数的下界。我们的算法也适用于$c_{\min} = 0$和$\tilde{\mathcal{O}}(K^{2/3})$后悔保证的情况。据我们所知，这是第一个学习线性混合SSP的次线性后悔保证算法。此外，我们设计了一个改进的Bernstein型置信集，并提出了一种改进的算法，该算法可证明地实现了$\tilde{\mathcal{O}}(d B_{\star}\sqrt{K/c_{\min}})$遗憾。作为对遗憾上界的补充，我们还证明了$Ω(dB_{\star} \sqrt{K})$的一个下界.因此，我们的改进算法匹配的下限到一个$1/\sqrt{c_{\min}}$因子和多对数因子，实现了近最优的遗憾保证。
2022-07-05 cs.LG math.OC stat.ML
Algebraic and Analytic Approaches for Parameter Learning in Mixture Models
Microsoft Research（微软研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了两种不同的方法在一维混合模型的参数学习。我们的第一种方法使用复杂的分析方法，并适用于高斯混合共享方差，二项式混合共享成功概率，泊松混合，等等。示例结果是$\exp(O(N^{1/3}))$样本足以精确地学习$k<N$泊松分布的混合，每个泊松分布具有由$N$限定的积分速率参数。我们的第二种方法使用代数和组合工具，并适用于二项式混合物与共享的试验参数$N$和不同的成功参数，以及几何分布的混合物。同样，作为示例，对于具有$k$分量和离散化为分辨率$ε$的成功参数的二项式混合，$O(k^2(N/ε)^{8/\sqrtε})$样本足以精确地恢复参数。对于其中一些分布，我们的结果代表了参数估计的第一个保证。
2020-01-19 cs.LG stat.ML
Dimension Reduction via Sum-of-Squares and Improved Clustering Algorithms for Non-Spherical Mixtures
MIT University of Washington EPFL（麻省理工学院 华盛顿大学 EPFL）
提出基于平方和方法的降维子程序，实现非球形高斯混合物的高效聚类，显著降低样本和时间的维度依赖。
2026-06-01 cs.DS cs.LG stat.ML
Tree-Guided MCMC Inference for Normalized Random Measure Mixture Models
Pohang University of Science and Technology（浦项科技大学）
标准化随机测度（Normalized Random Measures，NRM）是一类离散随机测度，通常用作贝叶斯非参数模型的先验。Dirichlet过程是NRM的一个众所周知的例子。大多数NRM混合模型的后验推理方法依赖于MCMC方法，因为它们易于实现并且其收敛性已经得到了很好的研究。然而，MCMC经常遭受缓慢的收敛时，接受率低。基于树的推理是另一种确定性后验推理方法，其中贝叶斯层次聚类（BHC）或增量贝叶斯层次聚类（IBHC）已分别为DP或NRM混合（NRMM）模型开发。虽然IBHC是NRMM模型后验推理的一种很有前途的方法，因为它的效率和在线推理的适用性，但它的收敛性不能保证，因为它使用了在多次试验后简单地选择最佳解决方案的算法。本文结合MCMC和IBHC的优点，提出了一种NRMM模型的混合推理算法。IBHC构建的树概述了数据的分区，这指导了Metropolis-Hastings程序采用适当的建议。继承MCMC的性质，我们的树引导MCMC（tgMCMC）是保证收敛，并享受快速收敛由于有效的建议指导树。在合成数据集和真实数据集上的实验证明了我们方法的优点。
2015-11-18 cs.LG stat.ML
Reliable Clustering of Bernoulli Mixture Models
Sharif University of Technology（谢里夫理工大学）
伯努利混合模型（Bernoulli Mixture Model，BMM）是具有独立维度的随机二进制向量的有限混合。聚类BMM数据的问题出现在各种现实世界的应用中，从群体遗传学到社交网络中的活动分析。在本文中，我们从理论的角度分析了集群的可集群性，当集群的数量是未知的。特别是，我们对模型的样本复杂度和维度规定了一组条件，以保证数据集的可能近似正确（PAC）可集群性。据我们所知，这些研究结果是第一个非渐近界的学习或聚类样本的复杂性。
2019-06-16 cs.IT cs.LG math.IT
FastManly: An EM-Gradient Algorithm for Manly Mixture Models
Department of Mathematics & Statistics, Trent University, Ontario, Canada（数学与统计学系，特伦特大学，安大略省，加拿大）；Department of Mathematics & Statistics, McMaster University, Ontario, Canada（数学与统计学系，麦斯特大学，安大略省，加拿大）
针对分量源自Manly变换的混合模型，在现有EM算法采用Nelder-Mead优化更新偏斜参数的基础上，提出一种在参数初始估计良好时使用单步牛顿法的EM梯度算法作为替代方案。
2026-09-24 cs.LG stat.ME stat.ML
An Efficient 1 Iteration Learning Algorithm for Gaussian Mixture Model And Gaussian Mixture Embedding For Neural Network
University of Macau（澳门大学）；Great Bay Institute for Advanced Study（大湾区高等研究院）；University of Science and Technology of China（中国科学技术大学）
提出一种基于GMM扩展的1次迭代学习算法，比EM更鲁棒简单且保证收敛，用于神经网络嵌入以提升不确定性处理能力，并展示生成器应用潜力。
2023-09-06 cs.LG stat.ML
Learning Nonlinear Mixtures: Identifiability and Algorithm
University of Minnesota（明尼苏达大学）；Oregon State University（俄勒冈州立大学）；University of Virginia（弗吉尼亚大学）；University of Florida（佛罗里达大学）
线性混合模型已被证明在大量应用中非常有用，例如，主题建模、聚类和声源分离。作为线性混合模型的一个重要方面，模型参数的可辨识性在独立成分分析和约束矩阵分解等框架下得到了很好的研究。然而，当线性混合物被一个未知的非线性函数所扭曲时--这在许多情况下是很好的动机和更现实的--可识别性问题的研究要少得多。这项工作提出了一个非线性混合模型的识别准则，在许多现实世界的应用是很好的基础，并提供可识别性保证。提出了一种基于合理设计的神经网络的实用实现方法，并给出了一种有效的学习算法。合成和实际数据的数值结果证实了所提出的方法的有效性。
2019-01-06 cs.LG stat.ML
Learning Mixtures of Graphs from Epidemic Cascades
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑的问题，学习的两个无向图的平衡混合物的加权边缘从流行级联。虽然混合模型是流行的建模工具，但具有严格保证的算法开发已经滞后。混合图显然也不例外：到目前为止，很少有人知道这个问题是否可解。据我们所知，我们建立了第一个必要和充分条件，这个问题是可解的多项式时间上的边分离图。当条件满足时，即，当图至少有三条边连通时，我们给出了一个有效的学习两个图的权值的算法，该算法具有最优的样本复杂度（直到对数因子）。我们给出了互补的结果，并提供样本最优（最多日志因子）算法的混合物的有向图的度至少为三，混合物的无向图的不平衡和/或未知的先验。
2020-01-29 cs.LG cs.SI stat.ML
Private estimation algorithms for stochastic block models and mixture models
ETH Zürich（苏黎世联邦理工学院）；Google Research（谷歌研究院）；Università Bocconi（博科尼大学）；UC San Diego（加州大学圣迭戈分校）
本文提出高维私有估计通用工具，实现随机块模型恢复和球面高斯混合中心恢复，统计保证接近非私有算法，且为首个高效差分私有算法。
2023-11-16 cs.CR cs.DS cs.LG
Differentially Private Distribution Release of Gaussian Mixture Models via KL-Divergence Minimization
State Key Laboratory of Internet of Things for Smart City and the Department of Electrical and Computer Engineering, University of Macau（物联网智能城市国家重点实验室和澳门大学电子与计算机工程系）；Department of Electrical and Computer Engineering, Cornell Tech, Cornell University（电气与计算机工程系，康奈尔科技，康奈尔大学）；Computing Sciences Research, Lawrence Berkeley National Laboratory（计算科学研究所，劳伦斯伯克利国家实验室）
本文提出通过KL散度度量高斯混合模型发布精度，结合差分隐私机制，在保证隐私安全的同时保持模型效用。
2026-10-16 cs.CR cs.IT cs.LG
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Guaranteed Model Order Estimation and Sample Complexity Bounds for LDA
如何确定混合模型（如潜在狄利克雷分配（LDA））中独立潜在因子（主题）的个数具有重要的实际意义。在大多数应用程序中，主题的确切数量是未知的，并且取决于应用程序和数据集的大小。贝叶斯非参数方法可以避免主题数选择的问题，但它们在大样本量时速度慢得不切实际，并且容易陷入局部最优。我们开发了一个有保证的程序，主题数恢复，不需要事先学习模型的潜在参数。我们的程序依赖于适应随机矩阵理论的结果。我们的主题数恢复程序的性能优于hLDA，一种非参数方法。我们还讨论了我们的研究结果的样本的复杂性和流行的谱学习算法的LDA的准确性的一些影响。我们的结果和过程可以扩展到其他可交换混合模型以及隐马尔可夫模型的谱学习算法。
2014-01-21 stat.ML
Stabilizing Invertible Neural Networks Using Mixture Models
TU Berlin（柏林工业大学）；Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
本文分析了可逆神经网络的性质，为求解逆问题提供了一种途径。我们的主要重点在于调查和控制相应的逆网络的Lipschitz常数。如果没有这样的控制，数值模拟很容易出错，并且与传统方法相比没有太大的好处。幸运的是，我们的分析表明，将潜在分布从标准正态分布改变为高斯混合模型解决了Lipschitz常数爆炸的问题。事实上，数值模拟证实，这种修改导致显着提高采样质量的多模态应用。
2021-02-01 cs.LG math.OC stat.ML
Deterministic Optimal Transport-based Gaussian Mixture Particle Filtering for Verifiable Applications
提出基于最优传输的确定性重采样粒子滤波方法，显著减少有用状态估计所需粒子数，并改善月球NRHO中极少观测空间物体的状态估计。
2025-01-28 math.OC stat.CO
Support Recovery in Mixture Models with Sparse Parameters
University of California, San Diego（加州大学圣地亚哥分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
混合模型被广泛用于拟合复杂和多模态数据集。在本文中，我们研究了高维稀疏的潜在参数向量的混合，并考虑这些向量的支持恢复的问题。虽然混合模型中的参数学习已经得到了很好的研究，但稀疏性约束仍然相对未被探索。参数向量的稀疏性是各种设置中的自然约束，并且支持度恢复是参数估计的主要步骤。我们提供了有效的算法支持恢复，具有对数样本的复杂性依赖于潜在空间的维数。我们的算法是相当普遍的，即它们适用于1）许多不同的典型分布的混合，包括均匀，泊松，拉普拉斯，高斯等。2）混合的线性回归和线性分类器与高斯协变量在不同的假设下的未知参数。在大多数这些设置中，我们的结果是对问题的第一个保证，而在其余的，我们的结果提供了对现有作品的改进。
2022-09-10 cs.IT cs.LG math.IT
A Mixture of Coalesced Generalized Hyperbolic Distributions
本文提出了一种多尺度广义双曲分布的混合分布。然后，通过将广义双曲分布与多尺度广义双曲分布相结合，得到了一个合并广义双曲分布（CGHD）。在详细描述了MMSGHD的发展，这是通过实现一个多维的权重函数，CGHD的混合物的密度开发。提出了一种基于MM算法的参数估计方法，并采用贝叶斯信息准则进行模型选择。集群凸性的问题进行了研究和特殊情况下的MMSGHDs的开发，保证有凸集群。这些方法的说明和比较使用模拟和真实的数据。MMSGHD和CGHD的混合物的可识别性在附录中讨论。
2018-10-27 stat.ME
Training Gaussian Mixture Models at Scale via Coresets
如何在海量数据集上训练统计混合模型？在这项工作中，我们将展示如何构建混合高斯coresets。核心集是数据的加权子集，这保证了拟合核心集的模型也为原始数据集提供了良好的拟合。我们发现，也许令人惊讶的是，高斯混合承认coresets的大小多项式的尺寸和混合成分的数量，而独立的数据集的大小。因此，人们可以利用计算密集型算法来计算一个非常小的数据集上的一个很好的近似。更重要的是，这样的核心集可以有效地构建在分布式和流设置，并不施加限制的数据生成过程。我们的研究结果依赖于一个新的减少统计估计问题的计算几何和新的组合复杂性结果的混合高斯。几个真实世界的数据集上的实证评估表明，我们的基于核心集的方法可以显着减少训练时间，近似误差可以忽略不计。
2018-01-15 stat.ML
BET: Bayesian Ensemble Trees for Clustering and Prediction in Heterogeneous Data
我们提出了一种新的“树平均”模型，利用分类和回归树（CART）的合奏。每个组成树估计与相似的数据的子集。我们把这个分组的子集贝叶斯集成树（BET）和模型作为一个无限的混合Dirichlet过程。我们表明，BET适应数据的异质性，并准确地估计每个组件。与Bootstrap-聚集方法相比，BET以较少的树显示出更好的预测性能。我们开发了一个有效的估计过程与改进的抽样策略在CART和混合模型。我们通过模拟、乳腺癌分类和囊性纤维化患者肺功能测量的回归来证明BET的这些优点。关键词：贝叶斯CART;狄利克雷过程;包围方法;异质性;混合树。
2014-08-18 stat.CO stat.ML
discretize_distributions: Efficient Quantization of Gaussian Mixtures with Guarantees in Wasserstein Distance
TU Delft（代尔夫特理工大学）；EPFL（苏黎世联邦理工学院）
discretize_distributions通过高效量化方法和Wasserstein距离保证，实现高斯混合分布的准确离散近似。
2025-11-19 cs.LG
Tight Group-Level DP Guarantees for DP-SGD with Sampling via Mixture of Gaussians Mechanisms
Google Research（谷歌研究院）
本文提出一种程序，用于计算DP-SGD在泊松或固定批次采样下的紧致组级差分隐私保证，并证明其紧致性。
2024-03-13 cs.CR cs.LG
Transcendental Regularization of Finite Mixtures:Theoretical Guarantees and Practical Limitations
Rochester Institute of Technology（罗切斯特技术学院）
本文提出超越正则化方法，用于解决有限混合模型在高维空间中的退化问题，提供理论保证并揭示其实际限制。
2026-02-03 cs.LG stat.ML
Statistical Learning Guarantees for Compressive Clustering and Compressive Mixture Modeling
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；GIPSA-lab（GIPSA实验室）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；IMB（波尔多数学研究所）；Univ Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；ENS de Lyon（里昂高等师范学校）；UCB Lyon 1（里昂第一大学）；LIP（里昂信息处理实验室）；Univ Rennes（雷恩大学）；IRISA（雷恩计算机科学研究所）
我们在压缩统计学习的背景下为两个无监督学习任务提供了统计学习保证，压缩统计学习是我们在一篇配套论文中介绍的资源高效的大规模学习的一般框架。压缩统计学习的原理是压缩一个训练集合，在一次通过中，转换成一个低维草图（一个随机经验广义矩的向量），它捕捉了与所考虑的学习任务相关的信息。我们明确地描述和分析随机特征函数，经验平均值保留了压缩聚类和压缩高斯混合建模所需的信息，具有固定的已知方差，并建立足够的草图大小给定的问题尺寸。
2021-08-17 cs.IT cs.LG math.IT
An improved mixture of probabilistic PCA for nonlinear data-driven process monitoring
Quanzhou Institute of Equipment Manufacturing, Haixi Institutes, Chinese Academy of Sciences（中国科学院海西研究院泉州装备制造研究所）；University of Reading（雷丁大学）
本文提出了一种改进的混合概率主成分分析（PPCA）方法，用于非线性数据驱动的过程监控。为了实现这一目的，混合的概率主元分析技术被用来建立潜在的非线性过程的局部PPCA模型，其中一个新的复合监测统计量的基础上提出的改进的PPCA故障检测方法的两个监测统计量的整合。此外，上述监测统计的加权平均值用作检测潜在异常的指标。通过与几种无监督算法的比较，讨论了该算法的优点。最后，田纳西-伊士曼过程和自动悬架模型的应用进一步证明了所提出的方案的有效性。
2020-12-12 cs.LG stat.ME
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Sparse and Smooth: improved guarantees for Spectral Clustering in the Dynamic Stochastic Block Model
CNRS（法国国家科学研究中心）；GIPSA-lab（格勒诺布尔交互作用物理与声学实验室）；IMB, Université de Bourgogne（勃艮第大学数学研究所）
在本文中，我们分析的谱聚类（SC）算法在动态随机块模型（DSBM）的经典变种。现有的研究结果表明，在相对稀疏的情况下，期望的程度增长的nodes的数量，保证在静态的情况下，可以扩展到动态的情况下，并产生改进的误差界时DSBM是足够光滑的时间，也就是说，社区不改变太多的两个时间步长之间。我们通过在DSBM的稀疏性和平滑性之间建立一个新的联系来改进这些结果：DSBM越规则，它就越稀疏，同时仍然保证一致的恢复。特别是，一个温和的光滑条件允许治疗的稀疏情况下有界的程度。我们还将这些保证扩展到归一化拉普拉斯算子，并作为我们分析的副产品，我们获得了据我们所知的最佳光谱浓度范围，可用于具有独立伯努利条目的归一化拉普拉斯矩阵。
2020-02-10 cs.LG math.ST stat.ML
Beyond Parallel Pancakes: Quasi-Polynomial Time Guarantees for Non-Spherical Gaussian Mixtures
ETH Zürich（苏黎世联邦理工学院）
针对共享未知协方差的良好分离高斯混合模型，论文提出基于平方和方法的拟多项式算法，在混合权重具多项式下界时实现与纯高斯分布的区分及聚类保证。
2023-06-07 cs.DS cs.LG stat.ML
Robust Mixture Learning when Outliers Overwhelm Small Groups
ETH Zurich（苏黎世联邦理工学院）；TU Munich（慕尼黑工业大学）；Lucerne School of Computer Science and Information Technology（卢塞恩计算机科学与信息技术学院）；University of Copenhagen（哥本哈根大学）
研究对手添加异常值淹没低权重簇时的列表可解码混合学习问题，提出利用混合结构部分聚类并迭代基学习器的算法，以最小列表开销实现阶数最优误差保证。
2024-07-22 cs.DS cs.LG stat.ML
Learning Mixtures of Markov Chains with Quality Guarantees
Boston University（波士顿大学）
大量的现代应用程序，从在线听歌和浏览网页到使用智能手机上的导航应用程序，都会产生大量的用户轨迹。将这些踪迹聚集成具有共同序列模式的组可以揭示人类行为的重要结构，可以通过更好的推荐改善用户体验，甚至防止自杀[LMCR 14]。数学建模这个问题的一种方法是作为马尔可夫链的混合。最近，Gupta，Kumar和Vassilvitski [GKV 16]介绍了一种基于奇异值分解（SVD）的算法（GKV-SVD），该算法在某些条件下可以完美地恢复n个状态上的L个链的混合物，仅给出长度为3的踪迹（3-trail）的分布。在这项工作中，我们通过强调和解决GKV-SVD算法[GKV 16]的两个重要约束来解决非混合马尔可夫链的问题：混合物中的一些链甚至可能不是弱连接的，其次，在实践中，人们事先不知道链的真实数量。我们在Gupta等人的论文[GKV 16]中解决了这些问题。具体来说，我们提出了一个代数标准，使我们能够有效地选择L的值，避免过拟合。此外，我们设计了一个重建算法，输出真实的混合物中存在的断开链，是强大的噪声。我们补充我们的理论结果与实验的合成和真实的数据，我们观察到，我们的方法优于GKV-SVD算法。最后，我们根据经验观察到，EM算法与我们的方法相结合，在实践中表现最好，无论是在重建误差方面的3-trails的分布和马尔可夫链的混合物。
2023-02-09 cs.AI cs.LG
