An Efficient 1 Iteration Learning Algorithm for Gaussian Mixture Model And Gaussian Mixture Embedding For Neural Network
University of Macau（澳门大学）；Great Bay Institute for Advanced Study（大湾区高等研究院）；University of Science and Technology of China（中国科学技术大学）
提出一种基于GMM扩展的1次迭代学习算法，比EM更鲁棒简单且保证收敛，用于神经网络嵌入以提升不确定性处理能力，并展示生成器应用潜力。
2023-09-06 cs.LG stat.ML
Gaussian mixture model decomposition of multivariate signals
KTH Royal Institute of Technology（KTH皇家理工学院）；Schlumberger Cambridge Research（斯伦贝谢剑桥研究中心）
我们提出了一个贪婪的变分方法分解的非负的多元信号的加权和的高斯，借用统计学的术语，我们称为高斯混合模型。值得注意的是，我们的方法具有以下特点：（1）它接受多元信号，即采样的多元函数，直方图，时间序列，图像等作为输入。(2)该方法可以处理一般（即椭球）高斯。(3)不需要预先假设混合物组分的数量。据我们所知，没有以前的方法高斯混合模型分解同时享有所有这些功能。我们还证明了一个上界，这不能提高一个全球性的常数，从高斯混合模型的任何模式到相应的手段的集合的距离。对于具有共同方差$σ^2$的球面高斯的混合，界限采用简单形式$\sqrt{n}σ$。我们评估我们的方法上的一维和二维信号。最后，我们讨论了聚类和信号分解之间的关系，并将我们的方法与基线期望最大化算法进行了比较。
2020-05-20 cs.LG stat.ML
Infinite Mixtures of Multivariate Gaussian Processes
East China Normal University（华东师范大学）
本文提出了一个新的模型称为多元高斯过程的无限混合，它可以用来学习向量值函数，并应用于多任务学习。混合模型作为单一多元高斯过程的扩展，具有建模多模态数据和降低多元高斯过程计算立方复杂度的优点。采用Dirichlet过程先验知识从训练数据中自动推断混合物组分的数量（可能是无限的），采用马尔可夫链蒙特卡罗抽样技术进行参数和潜变量推断。多元回归的初步实验结果表明，所提出的模型的可行性。
2013-07-26 cs.LG stat.ML
GGMPs: Generalized Gaussian Mixture Processes
GGMPs是一种基于高斯过程的多模态条件密度估计方法，通过局部混合拟合和异方差训练提升非高斯数据的分布近似能力。
2026-03-11 cs.LG stat.ML
Learning mixtures of spherical Gaussians: moment methods and spectral decompositions
Microsoft Research New England（新英格兰微软研究院）
这项工作提供了一个计算效率和统计上一致的基于矩的估计混合球高斯。在分量均值处于一般位置的条件下，一个简单的谱分解技术从低阶可观测矩得到一致的参数估计，而不需要以前计算效率高的估计过程所需的额外的最小分离假设。因此，计算和信息理论的障碍，以有效的估计混合模型时，混合物的成分，一般的位置和球形协方差的手段被排除。一些连接作出估计问题有关的独立成分分析。
2012-10-28 cs.LG stat.ML
Functional Mixture Discriminant Analysis with hidden process regression for curve classification
Institut Universitaire de France（法兰西大学研究院）
我们提出了一种新的基于混合模型的判别分析方法的功能数据使用一个特定的隐藏过程回归模型。该方法允许拟合灵活的曲线模型，以每一类复杂形状的曲线呈现政权的变化。通过使用专用的期望最大化（EM）算法，最大化每个类的数据对数似然来学习模型参数。仿真数据与其他方法的比较表明，所提出的方法提供了更好的结果。
2013-12-25 cs.LG stat.ME stat.ML
Modelling and computation using NCoRM mixtures for density regression
归一化复合随机测度是相关分布的灵活非参数先验。本文考虑利用归一化复合随机测度混合模型建立一般的非参数回归模型。后验推断是使用一种新的伪边缘Metropolis-Hastings采样归一化复合随机测度混合模型。该算法利用一种新的一般方法来无偏估计拉普拉斯泛函的复合随机措施（其中包括完全随机措施作为一种特殊情况）。密度回归问题的方法进行了说明。
2017-08-31 stat.AP stat.CO stat.ME
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London（帝国理工学院）
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的，分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化，同时保持内存消耗小。如果有足够的计算资源，我们的模型可以处理任意大的数据集，没有显式稀疏近似。我们提供了强有力的实验证据表明，我们的模型可以应用于规模远远超过数百万的大型数据集。因此，我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Dirichlet Process Mixtures of Generalized Linear Models
我们提出了狄利克雷过程混合广义线性模型（DP-GLM），一种新的非参数回归方法，可容纳连续和分类的输入，和响应，可以模拟的广义线性模型。我们证明了DP-GLM回归均值函数估计的渐近无偏性的条件。我们还给出了当这些条件成立时的例子，包括紧支持的连续分布模型和具有连续协变量和分类响应的模型。我们实证分析的DP-GLM的属性，为什么它提供了更好的结果比现有的Dirichlet过程混合物回归模型。我们评估DP-GLM的几个数据集，比较它的现代非参数回归方法，如CART，贝叶斯树和高斯过程。与现有技术相比，DP-GLM提供了一个单一的模型（和相应的推理算法），在许多回归设置中表现良好。
2010-07-15 stat.ML
Schema matching using Gaussian mixture models with Wasserstein distance
University of Warsaw（华沙大学）；QED Software（QED软件公司）
高斯混合模型作为一种强大的工具，主要是在聚类问题中，但在特征提取，模式识别，图像分割和一般的机器学习中也有适当的准备。当面临模式匹配问题时，在不同数据块上计算的不同混合模型可以保持关于数据集结构的关键信息。为了测量或比较混合模型的结果，Wasserstein距离可能非常有用，但对于混合分布来说，它并不容易计算。本文导出了高斯混合模型间Wasserstein距离的一种可能的近似，并将其化为线性问题。此外，有关现实世界的数据的应用实例。
2022-03-31 cs.DB cs.LG stat.ML
Uniform Consistency in Nonparametric Mixture Models
本文研究了非参数混合模型以及密切相关的混合回归（也称为混合回归）模型的一致相合性，其中允许回归函数是非参数的，并且假设误差分布是高斯密度的卷积。我们在一般条件下构造一致一致性估计，同时突出了几个痛点，在扩展现有的逐点一致性结果，以统一的结果。由此产生的分析结果是不平凡的，并在此过程中开发了一些新的技术工具。在混合回归的情况下，我们证明了$L^1$收敛的回归函数，同时允许组件回归函数相交任意经常，这提出了额外的技术挑战。我们还考虑一般（即非卷积）非参数混合的推广。
2022-12-28 math.ST stat.ML stat.TH
Robust mixture modelling using sub-Gaussian stable distribution
重尾分布由于具有厚尾而广泛用于鲁棒混合建模。亚高斯$α$ -稳定分布作为稳定分布的一个易于计算的子类，受到了广泛的关注。在这里，我们介绍了一种类型的期望最大化算法，估计亚高斯稳定分布的混合参数。一个比较研究，在一些著名的混合模型的存在下，进行显示的鲁棒性和性能的混合物的亚高斯$α$ -稳定分布的建模，模拟，合成和真实的数据。
2017-01-24 stat.ML
Optimal transport for vector Gaussian mixture models
Stony Brook University（石溪大学）
向量值高斯混合分布是向量值分布的一个重要的特殊子集。一般来说，向量值分布构成物理实体的自然表示，其可以在分布在给定空间中的替代表现形式之间变异或过渡。一个重要的例子是彩色图像。在这篇笔记中，我们向量化的高斯混合模型，并研究了几个不同的最优质量输运相关的问题，这样的模型。使用矢量高斯混合物进行最佳质量输运的好处包括计算效率和保持结构的能力。
2022-11-09 cs.LG math.OC math.PR
Model-based functional mixture discriminant analysis with hidden process regression for curve classification
Université de Toulon（土伦大学）；Aix Marseille Université（艾克斯-马赛大学）；ENSAM（国立高等工程技术学院）；Institut Universitaire de France（法国大学研究院）；IFSTTAR（法国交通与安全科学技术研究所）
在本文中，我们研究的建模和分类的功能数据呈现政权随时间的变化。我们提出了一种新的基于模型的功能混合判别分析方法的基础上，一个特定的隐藏过程回归模型，管理政权随时间的变化。我们的方法是特别适合于处理复杂形状的曲线类的问题，其中每个类是潜在的几个子类组成，并处理每个同质子类内的政权变化。该模型通过混合模型公式明确地集成了每类曲线的异质性，并且通过隐藏的逻辑过程在每个子类内改变政权。每一类复杂形状的曲线是由有限数量的同质集群，他们中的每一个被分解成几个政权。通过使用专用的期望最大化（EM）算法最大化数据对数似然来学习每个类的模型参数。比较与替代曲线分类方法，包括功能线性判别分析和功能混合判别分析与多项式回归混合物和样条回归混合物。模拟数据和实际数据的实验结果表明，该方法在判别力方面优于其他方法，并显着提高了曲线的逼近。
2013-12-25 cs.LG math.ST stat.ME
Robust mixture regression with Exponential Power distribution
假设指数幂分布是处理回归和聚类中离群值的一种方法，这可以增加分析的鲁棒性。高斯分布是指数分布的一种特殊情况。指数幂分布可以看作是正态分布的尺度混合。因此，模型选择方法开发的高斯混合模型可以很容易地扩展到指数幂混合模型。此外，高斯混合模型在实际情况下倾向于选择比指数幂混合模型更多的分量，这意味着指数幂混合模型更容易解释。本文研究了误差服从指数幂次分布的混合回归模型。它对异常值具有鲁棒性，并且模型选择易于实现。
2020-12-19 stat.CO stat.ME
Piecewise regression mixture for simultaneous functional data clustering and optimal segmentation
Aix Marseille Université（艾克斯-马赛大学）；Université de Toulon（土伦大学）
本文介绍了一种新的混合模型为基础的方法，同时聚类和最佳分割的功能数据，这是曲线政权的变化。所提出的模型包括在一个有限的混合分段多项式回归模型。每个分段多项式回归模型与聚类相关联，并且在每个聚类内，每个分段多项式分量与状态（即，段）。我们推导出两种方法来学习模型参数。前者是一种估计方法，包括通过一个专用的期望最大化（EM）算法最大限度地提高数据的似然性。然后通过最大化后验聚类概率，在收敛时得到K个聚类中曲线的模糊划分。然而，后者是一种分类方法，并通过专用的分类期望最大化（CEM）算法优化特定的分类可能性标准。采用动态规划法进行最优曲线分割。在分类方法中，曲线聚类和最优分割都是在CEM学习过程中同时进行的。我们证明了分类方法是概率版本，它推广了Hébrail等人（2010）提出的确定性K-means算法。所提出的方法进行评估，使用模拟曲线和现实世界的曲线。与包括回归混合模型和分段回归的K-means算法在内的替代方案的比较表明了该方法的有效性。
2014-04-30 cs.LG math.ST stat.ME
Liu-type Shrinkage Estimators for Mixture of Poisson Regressions with Experts: A Heart Disease Study
针对带有专家的泊松回归混合模型在多重共线性下设计矩阵病态的问题，提出Ridge和Liu型收缩方法，在保持分类性能的同时提供更可靠的系数估计，并应用于心脏病研究。
2023-09-11 stat.CO stat.ME stat.ML
Exact Recovery of Community Detection in k-Community Gaussian Mixture Model
University of Connecticut（康涅狄格大学）
本文研究了高斯混合模型上的社区发现问题，其中顶点被划分为$k\geq 2$不同的社区.我们模型的主要区别在于，对于观测矩阵中的不同条目，高斯扰动的强度是不同的，并且我们不假设每个社区都有相同数量的顶点。我们明确地找到最大似然估计的精确恢复的阈值。应用包括超图上的社区发现。
2020-08-29 cs.LG cs.SI math.PR
Training Gaussian Mixture Models at Scale via Coresets
如何在海量数据集上训练统计混合模型？在这项工作中，我们将展示如何构建混合高斯coresets。核心集是数据的加权子集，这保证了拟合核心集的模型也为原始数据集提供了良好的拟合。我们发现，也许令人惊讶的是，高斯混合承认coresets的大小多项式的尺寸和混合成分的数量，而独立的数据集的大小。因此，人们可以利用计算密集型算法来计算一个非常小的数据集上的一个很好的近似。更重要的是，这样的核心集可以有效地构建在分布式和流设置，并不施加限制的数据生成过程。我们的研究结果依赖于一个新的减少统计估计问题的计算几何和新的组合复杂性结果的混合高斯。几个真实世界的数据集上的实证评估表明，我们的基于核心集的方法可以显着减少训练时间，近似误差可以忽略不计。
2018-01-15 stat.ML
Repulsive g-Priors for Regression Mixtures
Graduate School of Economics, Keio University（庆应义塾大学经济学研究科）；Faculty of Economics, Keio University（庆应义塾大学经济学部）
本文提出了一种用于回归混合的排斥性g先验，通过在马氏度量下强制分离组件，提高模型的简洁性和预测性能。
2025-12-18 stat.ME
A k-Inflated Negative Binomial Mixture Regression Model: Application to Rate--Making Systems
本文介绍了一种k-膨胀负二项混合分布/回归模型，作为零膨胀泊松分布/回归模型的更灵活的替代。采用期望最大化算法估计模型参数。然后，将该模型与帕累托混合模型相结合，设计了一个最优费率制定系统。也就是说，本文采用了伊朗第三方保险数据集报告的索赔数量/规模。然后，它采用k-膨胀负二项混合分布/回归模型以及其他成熟的计数模型以及帕累托混合模型来模拟伊朗第三方保险数据集中报告的索赔频率/严重程度。这样的数值说明表明：（{ \bf 1}）在费率制定系统下，k-膨胀负二项混合模型为投保人提供了更公平的费率/纯保费;以及（{ \bf 2}）在投保人的过去经验中报告的索赔数量均匀分布的情况下（例如$k_1=1$和$k_2=1$而不是$k_1=0$和$k_2=2$）。k-膨胀负二项混合模型下的费率/纯保费更有吸引力且更容易接受。
2017-01-19 stat.ME
Quantum Clustering and Gaussian Mixtures
混合高斯分布是k-means的软版本，被认为是最先进的聚类算法。它被广泛用于计算机视觉中选择类别，例如，颜色、质地和形状。在该算法中，每个类由高斯分布描述，由其均值和协方差定义。数据由这些高斯分布的加权和描述。受物理学中量子干涉的启发，我们提出了一种新的方法。而不是直接建模每个类分布，我们建模类波函数，使其幅度平方是类高斯分布。然后，我们混合类波函数以创建混合波函数。最终的混合分布是混合波函数的幅度平方。结果，我们观察到量子类干涉现象，不存在于高斯混合模型。我们证明了量子方法在估计的各个方面都优于高斯混合方法。它提供了所有分布参数的更准确的估计，波动小得多，它也更强大的高斯假设的数据变形。我们说明了我们的颜色分割方法作为一个示例应用程序。
2016-12-29 cs.CV stat.ML
Adaptive Bayesian nonparametric regression using kernel mixture of polynomials with application to partial linear model
本文提出了一种贝叶斯非参数回归的核混合多项式先验。回归函数由具有核混合权重的多项式的局部平均来建模。我们得到的最小最优收缩率的充分后验分布的对数因子，适应的平滑程度的真实功能，通过估计某些功能类的度量熵。我们还提供了一个频率筛最大似然估计与接近最佳的收敛速度。我们进一步研究了多项式的核混合对部分线性模型的应用，并获得了非参数分量的近最优收缩率和Bernstein-von Mises极限（即，渐近正态性）。所提出的方法与数值例子说明，并显示优越的性能相比，本地多项式回归，DiceKriging，和强大的高斯随机过程的计算效率，精度和不确定性量化。
2018-09-13 math.ST stat.TH
Spatial Clustering Regression of Count Value Data via Bayesian Mixture of Finite Mixtures
本文提出贝叶斯有限混合之混合空间聚类回归模型，利用 Markov 随机场先验识别 Poisson 回归系数的空间同质性，并辅以理论、MCMC 算法、模拟和佐治亚州数据验证。
2023-06-04 stat.AP stat.CO stat.ME
The statistical Minkowski distances: Closed-form formula for Gaussian Mixture Models
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室有限公司）；Tokyo（东京）
传统的Minkowski距离是由实值向量空间中相应的Minkowski范数导出的。在这项工作中，我们提出了新的统计对称距离的基础上的Minkowski不等式属于Lebesgue空间的概率密度。这些统计Minkowski距离承认封闭形式的公式高斯混合模型时，参数化的整数指数。这个结果扩展到任意混合指数族与自然参数空间是锥：这包括二项式，多项式，零中心拉普拉斯，高斯和Wishart混合，等等。我们还从Minkowski不等式导出了归一化加权概率分布集的Minkowski多样性指数。
2019-01-17 cs.IT cs.LG math.IT
Mixtures of Spatial Spline Regressions
我们提出了一个扩展的功能性数据分析框架的单变量函数的表面分析：两个变量的功能。空间样条回归（SSR）的方法可以用来模拟表面上采样的矩形域。此外，SSR与线性混合效应模型（LMM）相结合，允许表面的群体的分析，并结合联合SSR-LMM方法与有限混合模型允许与子家族结构的表面的群体的分析。通过混合空间样条回归（MSSR）的方法开发，我们提出的方法聚类表面到子家庭，并进行基于表面的判别分析。我们的方法的有效性，以及SSR模型的建模能力进行评估，通过应用手写字符识别。
2013-06-14 stat.CO stat.ME
Structured Mixture of Continuation-ratio Logits Models for Ordinal Regression
提出一种基于延续比率Logit混合的非参数贝叶斯序数回归方法，利用Pólya-Gamma数据增广实现高效后验模拟，避免了协变量效应的线性假设。
2024-03-22 stat.ME
PReMiuM: An R Package for Profile Regression Mixture Models using Dirichlet Processes
PReMiuM是最近开发的R包贝叶斯聚类使用Dirichlet过程混合模型。该模型是回归模型的替代模型，通过聚类成员关系将响应向量与协变量数据非参数化地联系起来。该软件包支持Bernoulli、Binomial、Poisson、Normal和分类响应，以及Normal和离散协变量。此外，可以对响应进行预测，并处理协变量的缺失值。几个采样器和标签切换移动与诊断工具一起实施，以评估收敛。还提供了一些用于输出后处理的R函数。除了拟合混合物之外，还可能需要确定哪些协变量主动驱动混合物成分。这在包中作为变量选择实现。
2014-04-25 stat.CO
Diffusion Model Conditioning on Gaussian Mixture Model and Negative Gaussian Mixture Gradient
University of Macau（澳门大学）；Great Bay University（大湾区大学）；Great Bay Institute for Advanced Study（大湾区高等研究院）；University of Science and Technology of China（中国科学技术大学）
本研究提出以高斯混合模型为特征条件的扩散模型条件化机制，证明特征条件隐分布缺陷更少，同时提出负高斯混合梯度函数提升训练稳定性，且其作为代价函数具备与Wasserstein距离相当的优势。
2024-02-01 cs.CV cs.LG
Spatial Covariance Constraints for Gaussian Mixture Models
University of British Columbia Okanagan Campus（不列颠哥伦比亚大学奥肯那根校区）
本文提出了一种高斯混合模型的空间协方差约束方法，通过减少自由参数数量提升模型效率，并通过模拟和实验验证其有效性。
2026-01-12 stat.ME stat.ML
Robust Bayesian model selection for heavy-tailed linear regression using finite mixtures
在本文中，我们提出了一种新的方法来执行重尾分布的线性模型的贝叶斯模型选择。我们考虑一个有限的混合分布模型的潜在变量，其中每个组成部分的混合物对应于一个可能的模型内的对称类的正态独立分布。当然，高斯模型是其中一种可能性。这允许基于每个模型的后验概率进行同时分析。推理是通过马尔可夫链蒙特卡罗-吉布斯抽样与大都会黑斯廷斯步骤的一类参数。模拟的例子突出了这种方法的优势相比，隔离分析的基础上任意选择的模型选择标准。给出了真实数据的示例，并介绍和讨论了对截尾线性回归的扩展。
2017-08-18 stat.ME
Compositional Outcomes and Environmental Mixtures: the Dirichlet Bayesian Weighted Quantile Sum Regression
本研究提出Dirichlet-BWQS回归，用于联合建模组合结局与环境混合物，可同时估计混合物权重及总体暴露指数与各结局比例的关联，并通过模拟和真实数据验证，提供R包实现。
2025-03-28 stat.AP stat.ME
A Bayesian Filtering Algorithm for Gaussian Mixture Models
School of Engineering, University of Newcastle, Australia.（纽卡斯尔大学工程学院）
本文提出了一种针对可由高斯混合模型建模的状态空间系统的贝叶斯滤波算法，通过在时间更新和测量更新后引入高斯混合缩减步骤来处理滤波问题中的指数增长混合项问题，并在多个模拟系统上对统一算法的平方根实现进行了性能评估。
2023-06-30 cs.SY eess.SY stat.ML
Model Selection for Gaussian Mixture Models
本文讨论了有限混合模型中的一个重要问题，即混合组分数的选择。提出了一种新的惩罚似然方法用于有限多元高斯混合模型的模型选择。所提出的方法被证明是统计上一致的，在确定的组件的数量。提出了一种改进的期望最大化算法，它可以同时选择混合分量的个数和估计混合权重，即混合概率和高斯分布的未知参数。仿真和实际数据分析，以说明所提出的方法的性能。
2013-01-16 math.ST stat.ME stat.ML
A finite mixture model approach to regression under covariate misclassification
本文考虑了在回归建模的背景下，误测的分类协变量的问题，如果不考虑，这种误分类是已知的，导致模型参数的误估计。在这里，我们利用这样一个事实，即显式建模协变量误分类导致混合表示。假设常见的参数家庭的混合物成分，并假设误分类的发生是独立的响应变量，混合物表示允许模型参数被识别，即使当误分类概率是未知的。以前的协变量误分类方法使用多个替代协变量和/或验证数据的误差幅度。基于这种混合结构，我们证明了有效的推断，可以进行所有的参数，即使没有这样的额外信息。使用贝叶斯推理，该方法允许从与外部信息相结合的数据中学习错误的大小，当这样的信息确实变得可用时。该方法用于调整HIV相关肺部感染和并发症（肺部HIV）纵向研究中自我报告的可卡因使用的错误分类。我们发现可卡因的使用对肺气肿的相对面积测量的肺部并发症有实质性的和统计学上显著的影响，而不调整错误分类的回归产生了小得多的估计。
2017-04-26 math.ST stat.TH
Log-Regularly Varying Scale Mixture of Normals for Robust Regression
由于潜在的离群值，对误差分布采用经典正态假设的线性回归可能导致回归系数的不良后验推断。本文将具有薄尾和重尾的两个分量的有限混合作为误差分布，这在应用统计学中是经常使用的。对于重尾分量，我们引入了一类新的分布;它们的密度是对数规则变化的，并且比柯西分布具有更重的尾部，但它们表示为正态分布的尺度混合，并且能够通过Gibbs采样器进行有效的后验推断。我们证明了鲁棒性的离群值的后验分布在所提出的模型与最小的一组假设，这证明了使用收缩先验与无界密度的系数向量存在离群值。通过仿真研究与现有方法进行了广泛的比较，结果表明，该模型在点估计和区间估计方面的性能以及计算效率都有所提高。此外，我们证实了我们的方法的后验稳健性的实证研究与收缩先验的回归系数。
2021-01-09 stat.ME
Consistent Bayesian Information Criterion Based on a Mixture Prior for Possibly High-Dimensional Multivariate Linear Regression Models
在多元线性回归模型的变量选择问题中，我们基于光滑分布和δ分布的混合先验，导出了新的贝叶斯信息准则。每一个都可以解释为赤池信息准则（AIC）和贝叶斯信息准则（BIC）的融合。继承了它们的渐近性质，我们的信息准则在大样本和高维渐近框架下的变量选择是一致的。在数值模拟中，基于我们的信息准则的变量选择方法在大多数情况下以高概率选择真实的变量集。
2022-08-19 math.ST stat.TH
Cutoff for exact recovery of Gaussian mixture models
我们确定的信息理论截断值的聚类中心分离的集群标签的确切恢复$K$组件高斯混合模型具有相等的集群大小。此外，我们表明，一个半定规划（SDP）放松的$K$ -均值聚类方法实现精确恢复，而无需假设对称的聚类中心，这样的尖锐的阈值。
2020-11-30 cs.DS cs.IT math.IT
Bayesian Modal Regression based on Mixture Distributions
本文提出基于单峰混合分布的贝叶斯众数回归统一框架，推导后验正常性条件，并通过模拟和实际数据证明其对离群点稳健、能发现均值或中位数回归遗漏的协变量效应并构建更紧的预测区间。
2024-06-28 stat.AP stat.ME
Clustering electricity consumers using high-dimensional regression mixture models
现在，新的计量技术和智能电网为个人（家庭、中小型企业）消费提供了大量信息。这些数据的两个主要开发是在电网上不同规模的负载分析和预测。基于负载分类的客户细分是实现这些目的的自然方法。我们在这里提出了一种基于高维回归模型混合的新方法。我们的方法的新颖之处在于，我们专注于发现对应于不同回归模型的类或聚类。因此，这些类可以用于分析和预测每个类或用于统一视图中的自下而上的预测。我们考虑爱尔兰个人消费者的4，225米的真实数据集，每个人在1年内每天有48个半小时的抄表：从2010年1月1日到2010年12月31日，以证明我们的方法的可行性。
2015-07-01 stat.AP
Density regression via Dirichlet process mixtures of normal structured additive regression models
本文提出单权重相依 Dirichlet 过程正态结构化加法回归混合模型，利用惩罚 B 样条和张量积实现灵活密度回归，并通过闭式满条件分布支持高效 Gibbs 后验推断。
2024-05-13 stat.AP stat.ME
Mean regression for (0,1) responses via beta scale mixtures
University of Pretoria（比勒陀利亚大学）；University of the Witwatersrand（威特沃特斯兰德大学）
本文提出beta尺度混合模型，用于更灵活地建模(0,1)响应，通过引入混合随机变量控制尾部行为，提升skewness和kurtosis的适应性，在模拟和真实数据上验证了其优于传统方法的性能。
2026-02-09 stat.ME
SMIXS: Novel efficient algorithm for non-parametric mixture regression-based clustering
University of Ljubljana（卢布尔雅那大学）；Slovenian Environment Agency（斯洛文尼亚环境署）；Tampere University（坦佩雷大学）
我们研究了一种新的基于非参数回归的聚类算法用于纵向数据分析。该算法结合自然三次样条函数和高斯混合模型（GMM），可以产生平滑的聚类均值，很好地描述了底层数据。然而，该算法也存在一些缺点：参数估计过程计算复杂度高，方差估计量数值不稳定。因此，为了进一步提高该方法的可用性，我们采用了一些方法来降低其计算复杂性，我们开发了一种新的，更稳定的方差估计，我们开发了一个新的平滑参数估计过程。我们表明，开发的算法，SMIXS，在合成数据集上的聚类和回归性能优于GMM。我们展示了计算速度的影响，我们正式证明在新的框架。最后，我们进行了一个案例研究，通过使用SMIXS集群垂直大气测量，以确定不同的天气制度。
2022-09-19 cs.AI stat.ME
Bayesian inference of Gaussian mixture models with noninformative priors
本文讨论混合高斯分布的贝叶斯推断。一种新的配方的混合模型，其中包括先验约束，每个高斯分量总是分配一个最小数量的数据点。这使得非信息性的不适当的先验，如Jeffreys之前被放置在组件参数上。我们证明了在指定一个标准的高斯混合模型的先验所涉及的困难，并展示了如何新的模型可以用来克服这些。MCMC方法给出了有效的采样从这个模型的后验。
2014-05-19 stat.ME
A Bayesian approach for clustering skewed data using mixtures of multivariate normal-inverse Gaussian distributions
非高斯混合模型在基于混合模型的聚类中得到越来越多的关注，特别是在处理具有偏态和重尾等特征的数据时。在这里，这样的混合分布，基于多元正态逆高斯（MNIG）分布。对于混合模型的参数估计，采用基于Gibbs抽样的贝叶斯方法，提出了一种模拟单变量广义逆高斯随机变量和矩阵广义逆高斯随机矩阵的新方法.该算法将被应用到模拟和真实数据。通过仿真研究和实际数据分析，我们表明参数恢复，我们的方法提供了竞争力的聚类结果相比，其他聚类方法。
2020-05-06 stat.CO
Maximum Likelihood Estimates for Gaussian Mixtures Are Transcendental
高斯混合模型是经典统计学的核心，广泛应用于信息科学，并具有丰富的数学结构。我们检查他们的最大似然估计通过镜头的代数统计。MLE不是数据的代数函数，因此这些模型没有ML度的概念。似然函数的临界点是超越的，即使是两个单变量高斯的混合，它们的数量也没有限制。
2015-11-30 math.OC math.ST stat.TH
Log-regularly varying scale mixture of asymmetric Laplaces for robust Bayesian quantile regression
Meiji University（明治大学）；Keio University（庆应义塾大学）
该研究针对基于非对称拉普拉斯分布的贝叶斯分位数回归对极端观测值敏感的问题，提出AL-LPAL混合分布，建立后验稳健性并开发后验计算方法，经模拟和实际数据验证其预测性能良好。
2026-10-15 stat.ME
Maximum Number of Modes of Gaussian Mixtures
高斯混合模型在统计学中有着广泛的应用。这些分布的一个基本方面是密度或模式的局部最大值的研究。具体地，不知道$d$维度中的$k$高斯的混合可以具有多少模式。我们简要介绍了这个问题的历史。在有限的条件下，给出了改进的最大模数的下界和第一上界。
2019-04-18 math.OC math.PR math.ST
A Singularity Criterion for Countable Gaussian Mixtures Based on the Feldman-Hajek Theorem
本文基于Feldman-Hajek定理，研究了可数高斯混合模型在无限维情况下的奇异性质，推导出混合模型的奇异条件，并通过数值实验验证了高维混合模型中分离性的增强机制。
2026-06-29 math.ST stat.TH
Bayesian Wasserstein Repulsive Gaussian Mixture Models
本文提出贝叶斯Wasserstein排斥高斯混合模型，基于Wasserstein距离促进聚类分离，并在非参数密度估计框架内建立后验收缩率，验证了其有效性。
2025-04-30 stat.ME
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中，我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界，可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的，也可以获得最佳的收敛速度。作为副产品，我们也得到了收敛速度的核岭回归与错误指定的核函数，其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的，这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Variational Inference and Sparsity in High-Dimensional Deep Gaussian Mixture Models
本文针对高维深度高斯混合模型拟合困难的问题，提出使用稀疏先验进行贝叶斯推断，并开发了一种可扩展的自然梯度变分推断算法，通过过拟合混合实现高效的架构选择，有效提升了高维数据的聚类效果。
2021-09-01 stat.ME
Sketching in Bayesian High Dimensional Regression With Big Data Using Gaussian Scale Mixture Priors
使用马尔可夫链蒙特卡罗（MCMC）或其变体对具有流行的高斯尺度混合先验分布的高维线性回归模型进行贝叶斯计算可能非常慢或完全禁止，这是由于以p的立方阶增长的大量计算成本，其中p为特征的数量。尽管最近开发的一些算法使得在小到中等大的样本量（复杂度以n的立方阶增长）的情况下计算有效，但是当样本量n也很大时，计算变得难以处理。本文采用数据素描的方法，将n个原始样本通过随机线性变换压缩为m<<n个p维样本，并利用随机压缩的响应向量和特征矩阵计算高斯尺度混合先验分布的贝叶斯回归。我们提出的方法产生的计算复杂度增长的立方阶m。这种压缩过程的另一个重要动机是，它通过在分析过程中揭示关于原始数据的很少信息来匿名化数据。我们的详细的经验调查与马蹄事先从类高斯规模的混合先验显示出非常相似的推理和大量减少的每迭代计算时间的方法相比，与全样本的回归。本文的一个显著贡献是在数据压缩/草图化条件下，导出了高维预测系数的后验收缩率，并给出了一般的收缩先验。特别是，我们的特征的压缩响应向量m的大小作为一个函数的样本量，预测和稀疏的回归，以保证准确估计的预测系数渐近，即使在数据压缩后。
2021-05-11 stat.ME
Approximation of conditional densities by smooth mixtures of regressions
本文表明，大的非参数类的条件多元密度可以近似在Kullback-Leibler距离由不同规格的有限混合的正常回归，其中正常的均值和方差和混合概率可以依赖于变量的条件集（协变量）。这些模型是统计学和计算机科学文献中称为“专家混合”的模型的特例。灵活的规范包括仅混合概率（由多项式logit建模）取决于协变量的模型，以及在单变量情况下，仅混合正态均值灵活取决于协变量的模型。用协变量的柔性函数来模拟混合法向量的方差，可以削弱对可逼近密度类的限制。所得结果可以推广到一般位置尺度密度的混合物。收敛速度和易于解释的界限也得到了不同的模型规格。这些近似结果可用于证明基于这些模型的贝叶斯和最大似然密度估计的一致性。这些结果对应用研究人员也有有趣的影响。
2010-10-04 math.ST stat.TH
