Bayesian Cluster Weighted Gaussian Models
Athens University of Economics and Business（雅典经济与商业大学）
提出一类新的贝叶斯混合正态线性回归模型，通过引入预测变量分布的额外高斯随机成分，利用lasso和graphical-lasso先验分别处理回归系数和协方差结构，并采用跨维度伸缩采样器自动确定聚类数，在模拟和生物医学数据上优于EM、回归混合和专家混合方法。
2026-05-06 stat.CO stat.ME
Mixture model fitting using conditional models and modal Gibbs sampling
Department of Mathematics, School of Industrial Engineering-Albacete（工业工程学院阿尔巴塞特分校数学系）
提出一种基于模态吉布斯采样的新算法，通过仅采样辅助变量来近似混合模型的后验分布，利用集成嵌套拉普拉斯近似计算密度参数的条件分布众数，降低计算负担并给出良好估计。
2026-06-18 stat.CO stat.ME
A note on auxiliary mixture sampling for Bayesian Poisson models
University of Bologna（博洛尼亚大学）
本文提出一种稳健的辅助混合采样算法，用于改进贝叶斯泊松模型中后验分布的采样效率，通过检测近似失败并引入Metropolis-Hastings步骤提升鲁棒性。
2025-02-07 stat.CO stat.ME
Bayesian model averaging via mixture model estimation
基于Kaniav等人提出的假设检验的混合模型方法，提出了一种新的贝叶斯模型平均（BMA）和选择方法，2014.继承这种方法的良好特性，它扩展了BMA的情况下，不适当的先验选择的参数是共同的所有候选模型。从算法的角度来看，我们的方法包括从所有候选模型的单数据混合物的后验分布中采样，由其先验概率加权。我们证明了这个后验分布等于所有候选模型的“贝叶斯模型平均”后验分布，由它们的后验概率加权。从这个BMA后验样本，每个模型的后验概率的一个简单的蒙特卡罗估计，以及每个模型的后验分布下的期望的重要性抽样估计。
2018-08-01 stat.ME
Model-based clustering based on sparse finite Gaussian mixtures
在有限混合高斯分布的基础上，基于贝叶斯模型的聚类框架中，我们提出了一种联合方法来估计混合成分的数量，同时识别集群相关的变量，以及获得一个确定的模型。我们的方法包括在指定稀疏分层先验的混合权重和组件的手段。在故意过拟合混合模型中，权重的稀疏先验在MCMC期间清空多余的分量。一个简单的估计的真实数量的组件是由MCMC采样期间访问的非空组件的最频繁的数量。在分量均值上的预收缩先验，即正常伽马先验，导致改进的参数估计以及聚类相关变量的识别。在使用基于数据增广和吉布斯抽样的MCMC方法估计混合模型之后，通过在绘制的点过程表示中重新标记MCMC输出来获得辨识模型。这是使用基于Mahalanobis距离的$K$ -质心聚类分析来执行的。我们评估我们提出的策略在模拟设置与人工数据，并将其应用到基准数据集。
2016-06-22 stat.ME
Bayesian Wasserstein Repulsive Gaussian Mixture Models
本文提出贝叶斯Wasserstein排斥高斯混合模型，基于Wasserstein距离促进聚类分离，并在非参数密度估计框架内建立后验收缩率，验证了其有效性。
2025-04-30 stat.ME
Importance sampling schemes for evidence approximation in mixture models
边际似然是一个核心工具，用于绘制贝叶斯推断的数量混合模型的组成部分。它通常是近似的，因为确切的形式是不可用的。近似中的偏差可能是由于模拟的马尔可夫链（例如，吉布斯序列），这是一种也被称为缺乏标签切换的现象，因为所有可能的标签排列必须由链来模拟，以便收敛并因此克服偏差。在重要性抽样方法中，对重要性函数施加标签切换导致计算成本随着分量的数量呈指数增加。在本文中，两个重要性抽样计划提出了通过选择的重要性函数，MLE建议和Rao-Blackwellised重要性函数。第二种方案称为双重要性抽样。我们证明，这种双重重要性抽样是一个有效的估计的证据，而且表明，统计效率的估计增加。为了减少在计算中引起的高需求，原始重要性函数被近似，但是适当的近似可以产生具有相同精度并且具有减少的计算工作量的估计。
2014-11-13 stat.CO stat.ME
Bayesian inference of Gaussian mixture models with noninformative priors
本文讨论混合高斯分布的贝叶斯推断。一种新的配方的混合模型，其中包括先验约束，每个高斯分量总是分配一个最小数量的数据点。这使得非信息性的不适当的先验，如Jeffreys之前被放置在组件参数上。我们证明了在指定一个标准的高斯混合模型的先验所涉及的困难，并展示了如何新的模型可以用来克服这些。MCMC方法给出了有效的采样从这个模型的后验。
2014-05-19 stat.ME
Spatial Neutral to the Right Species Sampling Mixture Models
本文简要地叙述了如何利用Doksum（1974）的中立至右过程导出的一类物种抽样混合模型。对于实际的实施，我们描述了一个有序/排名的广义加权中餐厅过程的变体。
2006-04-12 math.PR math.ST stat.TH
Efficient sampling of non log-concave posterior distributions with mixture of noises
本文针对复杂黑箱反问题中非对数凹且多模态的后验分布，提出结合改进PMALA与MTM核的MCMC采样算法，实现参数估计与不确定性量化，并在天文学反问题上验证其有效性。
2023-05-18 stat.ME
Overfitting Bayesian Mixture Models with an Unknown Number of Components
本文提出了三个问题的解决方案有限混合模型的估计与未知数量的组件：过度拟合的组件的数量，标准的马尔可夫链蒙特卡罗（MCMC）抽样技术的混合限制，和相关的标签切换问题引起的不可识别性。过拟合方法用于通过Zmix算法估计有限混合模型中的组分数目。Zmix提供了多维采样器和基于测试的估计方法之间的桥梁，从而选择先验来鼓励额外的组具有接近零的权重。MCMC采样是可能的实施前并行回火，并行回火的扩展。在足够大的样本量下，Zmix可以准确估计组分数量、后验参数估计和分配概率。结果将反映最终模型中的不确定性，并将报告可能的候选模型范围及其单次运行的相应估计概率。标签切换解决了计算重量轻的方法，Zswitch，开发过拟合的混合物，利用直观的分配为基础的重新标记算法和标签不变的损失函数的精度。包括四个模拟研究来说明Zmix和Zswitch，以及三个案例研究的文献。所有方法都可以作为R包Zmix的一部分使用，目前可以应用于单变量高斯混合模型
2015-08-24 stat.ME
Moment-based Bayesian Poisson Mixtures for inferring unobserved units
我们利用一个合适的矩为基础的表征混合泊松分布的发展贝叶斯推断为未知大小的有限人口的单位是受到多次发生在枚举抽样阶段。这是一个特别具有挑战性的设置，许多其他的尝试已经作出推断的未知特性的人口。在这里，我们把特别强调的混合分布的特征的默认先验启发的建设。我们评估我们的方法在实际数据应用和模拟研究中的比较性能。
2018-06-18 stat.ME
Exact two-stage finite-mixture representations for species sampling processes
本文提出了一种精确的两阶段有限混合表示，用于物种采样过程，通过隐含的截断指数和简单的重新加权，实现了对任意规范物种采样过程的精确构造，并展示了其在后验推断中的应用。
2026-04-09 math.ST stat.CO stat.ME
Gibbs Sampling for (Coupled) Infinite Mixture Models in the Stick Breaking Representation
非参数贝叶斯方法聚类，信息检索，语言建模和对象识别最近显示出巨大的希望，作为一个新的范例无监督数据分析。大多数的贡献都集中在狄利克雷过程的混合物模型或扩展，有效的吉布斯采样器存在。在本文中，我们探讨吉布斯采样无限复杂的混合模型在棒断裂表示。这种表示的优点是提高了建模的灵活性。例如，人们可以设计集群大小的先验分布，或者在其参数水平上耦合多个无限混合模型（例如，随时间）（即，相关狄利克雷过程模型）。然而，无限混合模型的吉布斯采样器（最近在统计文献中介绍）似乎在集群标签上混合得很差。除其他问题外，这可能会产生不利影响，即耦合混合模型中相同聚类的标签会混淆。我们在这些采样器中引入了额外的移动，以改善集群标签的混合，并使集群保持一致。风暴轨迹建模的应用程序来说明这些想法。
2012-06-27 cs.LG stat.ME stat.ML
A Bayesian Mixture Model for Clustering on the Stiefel Manifold
分析了Stiefel流形上矩阵Langevin分布的贝叶斯混合模型。该模型利用了一个特定的参数化的矩阵Langevin分布，其中的各个方面进行了详细阐述。一个一般的，新颖的，家庭的共轭先验，和一个有效的马尔可夫链蒙特卡罗（MCMC）抽样计划，相应的后验的混合模型。详细探讨了先验分布和后验分布的理论性质，包括后验一致性。大量的仿真实验验证了该框架的有效性。真实世界的例子，包括一个大规模的神经成像数据集，进行了分析，以证明计算的易处理性的方法。
2017-08-23 stat.ME
Bayesian nonparametric location-scale-shape mixtures
离散混合模型是密度估计最成功的方法之一。在贝叶斯非参数框架下，Dirichlet过程的位置-尺度混合高斯核是金标准，既具有良好的理论性质，又具有计算易处理性。在本文中，我们探讨使用的偏态核，它可以自然地容纳几个程度的偏度的使用第三个参数。该核函数的选择使我们能够在不同的应用中制定具有大支持度和良好性能的非参数位置-尺度-形状混合先验。渐近地，我们表明，这种建模框架是一致的频率论意义上。有效的吉布斯抽样算法进行了讨论，并通过模拟和应用星系速度和生育率数据的方法进行了测试的性能。扩展，以适应离散数据进行了讨论。
2013-11-29 stat.ME
Bayesian Mixture Modelling with Ranked Set Samples
针对不完美排序集抽样下有限混合模型参数估计问题，提出结合EM算法与Metropolis within Gibbs Sampling的贝叶斯估计方法，效果优于简单随机抽样法，并应用于老年女性骨病估计。
2023-06-13 math.ST stat.ME stat.TH
Identifying Mixtures of Mixtures Using Bayesian Estimation
在基于模型的聚类中使用有限混合的正态分布允许捕获非高斯数据聚类。然而，从正常分量中识别聚类是具有挑战性的，并且通常通过对模型施加约束或通过使用后处理过程来实现。在贝叶斯框架内，我们提出了一种不同的方法，基于稀疏有限混合物，以实现可识别性。我们指定了一个分层的先验，其中超参数是精心选择的，这样它们就可以反映目标的集群结构。此外，该先验允许使用标准MCMC采样方法来估计模型。结合解决标签切换问题并导致识别模型的后处理方法，我们的方法允许同时（1）确定聚类的数量，（2）使用有限的法线混合以半参数方式灵活地近似聚类分布，以及（3）识别特定于聚类的参数并对观察结果进行分类。所提出的方法是说明在两个模拟研究和基准数据集。
2016-06-20 stat.ME
Fast sampling and model selection for Bayesian mixture models
我们研究贝叶斯估计的混合模型，并认为有利于拟合的边缘后验分布组件分配直接，而不是吉布斯抽样从联合后验组件和参数是通常做的。以前的一些作者发现前一种方法混合速度很慢，但我们证明，如果正确实现，它可以实现出色的性能。特别是，我们描述了一种新的蒙特卡罗算法，从边缘后采样的一般可积混合，利用拒绝免费抽样从以前的组件分配，以实现优良的混合时间在典型的应用程序中，优于标准的吉布斯抽样，在某些情况下，由一个很宽的利润率。我们展示了高斯，泊松和分类模型的应用程序的选择的方法。
2025-10-22 stat.CO stat.ML
Bayesian Nonparametric Mixtures of Exponential Random Graph Models for Ensembles of Networks
网络集合出现在各个领域，其中在同一组节点上观察到多个独立的网络，例如，在不同个体的相同大脑区域上构建的大脑网络的集合。然而，有几个模型，同时描述网络的变化和特征的合奏。在本文中，我们建议使用指数随机图模型的狄利克雷过程混合（DPM-ERGMs），它将集成分为不同的集群和模型的网络使用一个单独的指数随机图模型（ERGM）的每个集群的集成。通过采用Dirichlet过程混合，可以自动确定聚类的数量，并根据所提供的数据自适应地改变聚类的数量。此外，为了执行DPM-ERGMs的完整贝叶斯推断，我们采用中间重要性抽样技术内的大都会内切片抽样方案，解决了从一个无限的样本空间上的棘手ERGMs的采样问题。我们还展示了模拟和真实数据集的DPM-ERGMs的性能。
2022-01-20 stat.CO stat.ME
Finite Mixture Model of Nonparametric Density Estimation using Sampling Importance Resampling for Persistence Landscape
Allameh Tabatabai University（阿拉梅·塔巴塔拜大学）
考虑到持久性景观在参数化曲线上的产生和采样结构，存在一个随机过程，对于给定的数据集，持久性景观的有限混合模型（FMMPL）可以提供更好的描述。本文提出了一种非参数的方法来计算在持久性景观的综合均方误差（IMSE）。因此，FMMPL比另一种方法更准确。提出了采样重要性响应（SIR），较好地描述了参数化曲线中的重要标志点。结果，提供了更高的准确性和更低的空间复杂性比简单的采样选择的地标。
2018-11-17 cs.LG stat.ML
IID Sampling from Posterior Dirichlet Process Mixtures
Dirichlet过程混合的影响在贝叶斯非参数文献中是普遍存在的。但是，尽管出现了各种马尔可夫链蒙特卡罗方法，但从其后验分布中采样仍然是一个挑战。主要的挑战是无限维的设置，即使将无限维的随机测度整合出来，高维性和离散性仍然是难以处理的问题。在这篇文章中，利用Bhattacharya（2021 b）中提出的关键思想，我们提出了一种新的方法来从Dirichlet过程混合的后验中绘制iid实现。我们特别关注Bhattacharya（2008）的更通用和灵活的模型，以便这里开发的方法简单地适用于传统的狄利克雷过程混合物。我们说明了我们的想法，众所周知的酶，酸度和星系数据集，这通常被认为是混合应用程序的基准数据集。在我们的并行实现中，从Bhattacharya（2008）的Dirichlet过程混合后验生成10，000个iid实现，分别需要19分钟、8分钟和5分钟。
2022-06-18 math.ST stat.CO stat.TH
A priori truncation method for posterior sampling from homogeneous normalized completely random measure mixture models
本文采用贝叶斯非参数混合模型，其中混合分布属于广义的归一化齐次完全随机测度。我们提出了一种截断混合分布的方法，通过丢弃未归一化的测量小于小于阈值的权重。我们证明了我们的逼近律的收敛性，给出了一些理论性质，并描述了它的后验分布，从而设计了一个分块Gibbs采样器。近似的多功能性说明了两个不同的应用程序。首先介绍了包含Dirichlet过程的归一化Bessel随机测度，拟合优度指标显示了其作为混合测度用于密度估计的良好性能。第二个描述了如何将协变量纳入标准化测量的支持中，从而得到用于回归和聚类的线性相关模型。
2015-07-16 math.ST stat.CO stat.ME
Sampling for Bayesian Mixture Models: MCMC with Polynomial-Time Mixing
UC Berkeley（加州大学伯克利分校）；Voleon Group（沃利恩集团）
本文研究了贝叶斯高斯混合模型中的幂后验分布抽样问题。这种幂后验被认为是非对数凹和多模态的，这导致了一些标准MCMC算法的指数混合时间。我们介绍并研究了用于采样的反射大都会-黑斯廷斯随机游动（RMRW）算法。对于对称的两组分高斯混合模型，只要样本量$n$为$d (d + \Vert θ_{0} \Vert^2)$阶，我们证明了其混合时间有界为$d^{1.5}(d + \Vert θ_{0} \Vert^2)^{4.5}$.值得注意的是，该结果不需要对两个平均值的分离有任何条件。途中证明这个界限，我们建立了一些新的结果可能独立的利益，允许结合庞加莱不等式的条件和边际密度。
2019-12-11 cs.DS cs.LG math.PR
A Novel Constrained Sampling Method for Efficient Exploration in Materials and Chemical Mixture Design
IMDEA Materials Institute（IMDEA材料研究所）
CASTRO是一种用于材料和化学混合设计中高效探索的新型约束采样方法，通过分而治之策略和多维均匀采样提升效率，适用于受约束的小到中等维度空间。
2025-02-19 cond-mat.mtrl-sci physics.data-an stat.AP
Blocked Gibbs Sampling for Improved Convergence in Finite Mixture Models
针对有限混合模型中吉布斯采样收敛慢的问题，分析了离群观测潜变量的强相关性，提出分块采样方法以降低潜变量马尔可夫链自相关性，并通过仿真验证了效果。
2024-11-01 math.ST stat.CO stat.TH
Sampling from Dirichlet process mixture models with unknown concentration parameter: Mixing issues in large data implementations
本文研究了一般的带浓度参数α的Dirichlet过程混合模型的马尔可夫链蒙特卡罗抽样问题。本文介绍了一种结合Walker（2007）的切片采样方法和Papaspiliopoulos和Roberts（2008）的回顾采样方法的吉布斯抽样算法。我们的通用算法是作为有效的开源C++软件实现的，可作为R包使用，并且基于类似于Papaspiliopoulos（2008）提出并由Yau等人（2011）实现的阻塞策略。我们讨论的困难，实现良好的混合MCMC采样器的这种性质和调查的敏感性初始化。我们还考虑了当添加额外的层次结构层时的挑战，以便在alpha上进行联合推理。我们引入了一个新的标签切换移动和计算后验边缘模型，以帮助克服这些困难。我们的工作说明使用配置文件回归（Molitor等人，2010年）的应用程序，在那里我们证明了良好的混合行为的合成和真实的例子。
2014-02-20 stat.CO
Particle Gibbs Split-Merge Sampling for Bayesian Inference in Mixture Models
本文提出了一种新的马尔可夫链蒙特卡罗方法，用于共轭混合模型的后验分布的抽样。该算法依赖于一个灵活的分裂合并过程中使用粒子吉布斯采样器。与现有的分裂-合并过程相反，所得到的所谓粒子吉布斯分裂-合并采样器不需要计算复杂的接受率，使用现有的序贯蒙特卡罗库实现简单，并且可以并行化。我们研究其性能实验合成的问题，以及地理位置和癌症基因组学数据。在所有这些例子中，粒子吉布斯分裂-合并采样器优于最先进的分裂-合并方法高达一个数量级的固定计算复杂度。
2017-05-27 stat.CO
A marginal sampler for $σ$-Stable Poisson-Kingman mixture models
在贝叶斯非参数混合模型的背景下，研究了一类$σ$稳定的Poisson-Kingman随机概率测度（RPM）.这是一个大类的离散RPM，其中包括大多数流行的离散RPM中使用的贝叶斯非参数，如Dirichlet过程，Pitman-Yor过程，归一化逆高斯过程和归一化广义Gamma过程。我们展示了如何某些采样特性和边缘特性的$σ$稳定的泊松-金曼RPM可以有效地利用设计一个马尔可夫链蒙特卡罗（MCMC）算法进行推断贝叶斯非参数混合建模。具体来说，我们引入了一种新的和有效的MCMC采样方案在增广空间，有一个固定数量的辅助变量每次迭代。我们应用我们的抽样方案的密度估计和聚类任务的一维和多维数据集，我们比较它对竞争的抽样方案。
2015-09-24 stat.CO stat.ML
Sampling in Dirichlet Process Mixture Models for Clustering Streaming Data
Ben-Gurion University（本-古里安大学）
用于聚类流数据的实用工具必须足够快以处理观测的到达率。通常，它们还必须在运行中适应可能缺乏稳定性;即，由于各种形式的漂移、簇数量的变化等，数据统计可能是时间相关的。Dirichlet过程混合模型（DPMM），其贝叶斯非参数性质允许其使其复杂性适应于数据，似乎是流式数据情况的自然选择。然而，在其经典公式中，DPMM无法捕获数据统计中常见的漂移类型。此外，尽管存在这种限制，但现有的在线DPMM推理方法太慢，无法处理快速的数据流。在这项工作中，我们提出了适应DPMM和一个已知的DPMM采样为基础的非流推理方法流数据聚类。我们证明了所提出的方法在几个具有挑战性的设置上的实用性，在那里它获得了最先进的结果，同时在速度方面与其他方法不相上下。
2022-02-27 cs.LG stat.ML
Parallel Clustering of Single Cell Transcriptomic Data with Split-Merge Sampling on Dirichlet Process Mixtures
University of California, Irvine（加州大学欧文分校）；University of Algarve（阿尔加维大学）
动机：随着基于液滴的系统的发展，大量的单细胞转录组数据已经变得可用，这使得能够以单细胞分辨率分析细胞和分子过程，并且有助于理解许多生物过程。虽然最先进的聚类方法已被应用于数据，但它们面临以下方面的挑战：（1）聚类质量仍有待提高;（2）大多数模型需要关于聚类数的先验知识，而这些知识并不总是可用的;（3）需要更快的计算速度。结果：我们建议在Dirichlet过程混合模型（Para-DPMM模型）上使用并行分裂合并采样来解决这些挑战。与在每个单个数据点上执行采样的经典DPMM方法不同，拆分合并机制在聚类级别上进行采样，这显着提高了结果的收敛性和最优性。该模型是高度并行化的，可以利用高性能计算（HPC）集群的计算能力，在巨大的数据集上实现大规模集群。实验结果表明，该模型在聚类质量和计算速度上都优于目前广泛使用的模型。可用性：源代码可在https://github.com/tiehangd/Para_DPMM/tree/master/Para_DPMM_package上公开获取
2018-12-25 cs.LG q-bio.GN stat.ML
Deep Residual Mixture Models
Aalto University（阿尔托大学）
我们提出了深度残差混合模型（DRMOST），一种新的深度生成模型架构。与其他深度模型相比，DRNN允许更灵活的条件采样：模型可以用所有变量训练一次，然后用于条件变量、高斯先验和（非）等式约束的任意组合的采样。这为交互式和探索性机器学习提供了新的机会，其中应该最大限度地减少用户等待重新训练模型的时间。我们证明了DRDO在约束多肢体逆运动学和可控的动画生成。
2021-07-21 cs.LG stat.ML
A fast non-reversible sampler for Bayesian mixture models
Duke University（杜克大学）；University of Padua（帕多瓦大学）；Bocconi University（博科尼大学）
针对贝叶斯有限混合模型后验采样收敛慢的问题，提出一种新型不可逆采样方案，理论证明其渐近方差性能不劣于标准方法四倍，可将大样本下收敛时间从O(n²)降至O(n)，在多场景下性能显著优于经典采样器。
2026-10-05 stat.CO stat.ME stat.ML
Multiple Imputation of Missing Categorical and Continuous Values via Bayesian Mixture Models with Local Dependence
我们提出了一个非参数贝叶斯联合模型的多变量连续和分类变量，目的是开发一个灵活的引擎，多重插补的缺失值。该模型融合了分类变量多项分布的Dirichlet过程混合和连续变量多元正态分布的Dirichlet过程混合。我们将连续和分类变量之间的依赖性（i）建模的正态分布的平均值作为组件特定的功能的分类变量和（ii）形成不同的混合成分的分类和连续数据的概率，通过分层模型。这种结构允许模型捕获分类数据和连续数据之间的复杂依赖关系，而分析人员只需进行最小的调整。我们应用该模型来填补缺失值，由于项目无应答的收入和计划参与调查（SIPP）的重新设计的评价。目标是将新设计的现场测试估计值与旧设计下收集的面板中选定个体的估计值进行比较。我们表明，占缺失数据改变了一些结论的可比性分布在两个数据集。我们还进行了广泛的重复抽样模拟使用类似的数据，从完整的情况下，在现有的SIPP面板，比较我们提出的模型的默认应用程序的多重插补链式方程。在这种现实环境中，基于所提出的模型的插补往往比链式方程的默认应用具有更好的重复采样特性。
2015-10-13 stat.AP stat.ME
Laplacian-P-splines for Bayesian inference in the mixture cure model
用于分析生存数据的混合治愈模型的特征在于假设研究人群分为一组受试者，该组受试者将在有限的时间范围内发生关注事件，另一组治愈受试者无论随访持续时间如何都不会发生事件。当使用贝叶斯范式推断具有治愈分数的生存模型时，通常的做法是依靠马尔可夫链蒙特卡罗（MCMC）方法从后验分布中采样。虽然计算上可行，但MCMC的迭代性质通常意味着长采样时间来探索具有可能遭受缓慢收敛和不良混合的链的目标空间。本文提出了一种基于拉普拉斯近似和惩罚B样条的混合硫化模型快速、灵活的无采样贝叶斯推断方法。假设治愈比例为逻辑斯谛回归模型，并使用具有P样条近似基线风险的考克斯比例风险模型来指定易感受试者的条件生存函数。拉普拉斯近似的条件潜在向量是基于对数似然的梯度和海森的分析公式，从而大大加快了近似后验分布。在模拟研究中评估了所提出的拉普拉斯-P-样条混合曲线（LPSMC）模型的统计性能和计算效率。结果表明，LPSMC是一个有吸引力的替代经典MCMC近似贝叶斯推断在标准的混合硫化模型。最后，新的LPSMC方法说明了三个应用程序，涉及真正的生存数据。
2021-05-17 stat.CO stat.ME
Common Failure Modes of Subcluster-based Sampling in Dirichlet Process Gaussian Mixture Models -- and a Deep-learning Solution
Ben-Gurion University（本-古里安大学）
狄利克雷过程高斯混合模型（DPGMM）常用于聚类数据时，聚类数是未知的。一个主要的DPGMM推理范式依赖于采样。在这里，我们考虑一个已知的最先进的采样器（由Chang和Fisher III（2013）提出，并由Dinari等人（2019）改进），分析其故障模式，并展示如何改进它，通常是大幅改进。具体地说，在该采样器中，每当形成一个新的集群时，它都会增加两个子集群，其标签是随机初始化的。在它们的演化过程中，子集群用于提出父集群的分裂。我们表明，随机初始化往往是有问题的，伤害了否则有效的采样器。具体来说，我们证明，这种初始化往往会导致穷人的分裂建议和/或太多的迭代之前，所需的分裂被接受。这会减慢收敛速度，并可能破坏聚类。作为一种补救措施，我们提出了两个下拉式替换选项的子集群初始化子程序。第一个是直观的启发式，而第二个是基于深度学习。我们表明，所提出的方法产生更好的分裂，这反过来又转化为性能，结果和稳定性的大幅改善。
2022-03-25 cs.LG stat.ML
Flexible Mixture Modeling on Constrained Spaces
本文讨论了灵活建模的多模态数据，躺在受约束的空间中的挑战。这类数据通常用于空间应用，如气候学和犯罪学，在这些应用中，测量仅限于一个地理区域。其他设置包括丢弃不合适的记录的域，例如流式细胞术测量。一个简单的方法来建模这样的数据是通过使用混合模型，特别是非参数混合模型。混合模型，而灵活的和理论上很好理解，是不适合的设置涉及复杂的约束，导致难以指定的组件分布和评估归一化常数。贝叶斯推断这些模型的参数的结果在后验分布是双重棘手的。我们通过一个基于拒绝抽样和数据增强的算法来解决这个问题。我们认为样本从一个截尾分布的结果，一个拒绝抽样计划，建议是从一个简单的混合模型，如果他们违反了约束条件，被拒绝。我们的方案通过将被拒绝的样本输入混合参数，然后将所有样本的参数重新输入。我们研究了两种建模方法：截断高斯和截断高斯的混合物，以及相关的马尔可夫链蒙特卡罗采样算法。我们还讨论了模型的变化，以及近似，以改善混合，降低计算成本，降低方差。我们目前的模拟数据的结果，并将我们的算法应用到两个问题，一个涉及流式细胞术的数据，和其他犯罪记录在芝加哥市。
2019-11-30 stat.CO stat.ML
Dirichlet Process Mixtures of Generalized Mallows Models
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）
提出了离散不完全排序下的Dirichlet过程混合模型，研究了两种估计后验聚类的Gibbs抽样推断技术。第一种方法使用切片采样子分量来估计聚类参数。第二种方法利用条件后验的近似来边缘化几个聚类参数。我们实证证明了（1）这种近似方法在提高收敛性方面的有效性，（2）Dirichlet过程模型在排名数据的其他聚类技术上的优势，以及（3）该方法在探索大型现实世界排名数据集方面的适用性。
2012-03-15 cs.LG stat.ML
A Bayesian approach for fitting semi-Markov mixture models of cancer latency to individual-level data
本文提出一种基于数据增广MCMC的完全贝叶斯方法，将半马尔可夫混合模型拟合至个体水平数据，用于量化不确定性、模型选择及估计癌症筛查过度诊断率，并在模拟数据与美国乳腺癌监测联盟数据上验证了有效性。
2025-08-13 stat.AP stat.CO stat.ME
A Copula Based Bayesian Approach for Paid-Incurred Claims Models for Non-Life Insurance Reserving
我们的文章认为，最近开发的随机模型，结合索赔支付和发生的损失信息到一个连贯的准备金方法。特别地，我们结合Hertig et al.（1985）和Gogol et al.（1993）的索赔准备金模型，发展了一个分层贝叶斯支付-发生-索赔模型族。在这个过程中，我们扩展了Merz等人（2010）的独立对数正态模型，通过使用数据增强混合Copula支付-发生索赔模型来合并不同的依赖结构。将支付和已发生的损失纳入未偿损失负债和由此产生的准备金的完整预测分布的估计中的效用和影响在以下情况下得到证明：（i）独立支付（P）数据模型;（ii）Merz等人（2010）的独立支付-已发生索赔（PIC）数据模型;（iii）一种新的相关滞后年伸缩块对角高斯Copula PIC数据模型，通过变换结合共轭;（iv）一种新的数据增强混合阿基米德Copula相关PIC数据模型。通过一类自适应马尔可夫链蒙特卡罗抽样算法，在这样的模型中的推理。这些方法结合了一个数据增强框架，用于有效地评估基于Copula的PIC模型在损失预留三角形中的可能性。自适应策略基于由对称矩阵的指数表示正定协方差矩阵，如Leonard等人（1992）所提出的。
2012-12-09 q-fin.RM stat.AP stat.CO
Scalable Expectation Estimation with Subtractive Mixture Models
本文提出基于减法混合模型差分表示的无偏重要性采样估计器$\Delta\text{Ex}$，避免直接采样，实现高维期望估计，实验证明其估计质量与自回归采样相当且速度更快，并初步探索了安全提议的构建。
2025-03-27 cs.LG stat.CO stat.ML
Folded Transport MCMC: Eliminating Label Switching by Sampling on a Fundamental Domain
Wuhan University of Technology（武汉理工大学）
针对对称贝叶斯模型中的冗余多峰性导致MCMC收敛诊断退化的问题，提出Folded Transport MCMC方法，通过在对称群的基本域上构建独立采样器直接对商后验进行推断，并利用LCNF振荡认证框架在商度量下提供可证明的认证下界。
2026-06-19 cs.LG stat.CO stat.ME
Sampling the Riemann-Theta Boltzmann Machine
Università degli Studi di Milano（米兰大学）；INFN Sezione di Milano（意大利国家核物理研究院米兰分部）；University of Lausanne（洛桑大学）
我们发现，可见扇区的概率密度函数的黎曼-θ玻尔兹曼机对应于一个高斯混合模型组成的无限多个组件的多变量高斯。混合物的权重由隐藏状态空间上的离散多变量高斯函数给出。这使我们能够以直接的方式对可见扇区密度函数进行采样。此外，我们证明了可见扇区概率密度函数具有仿射变换性质，类似于多变量高斯密度。
2020-06-30 cs.LG stat.ML
Classifier Weighted Mixture models
IEEE Publication Technology Group（IEEE出版技术集团）
本文提出 Classifier Weighted Mixtures，以分类器定义的函数化权重替代恒定混合权重，在不增加组件数量和复杂度的前提下提升密度评估、采样与变分估计表达能力。
2025-01-06 cs.LG stat.ML
Testing means from sampling populations with undefined labels
我们考虑的问题，从两个人口的样本的标签是不确定的测试手段。我们表明，这个问题是连接到另一个是测试期望值的组件的混合模型从两个数据样本。底层混合模型与已知的不同混合权重相关联。我们提供了一个性能良好的测试程序。然后，我们指出我们的方法的性能损失，由于混合效应，通过比较其数值性能的韦尔奇的t-检验的手段，这将已经完成，如果真正的标签。
2012-05-16 math.ST stat.TH
Free Energy Methods for Bayesian Inference: Efficient Exploration of Univariate Gaussian Mixture Posteriors
由于混合后验分布的多峰性，用标准的马尔可夫链蒙特卡罗（MCMC）方法很难对其进行采样。我们提出了一种策略，以提高MCMC的采样在这种情况下，使用偏置程序，源于计算统计物理。其原理是首先选择一个“反应坐标”，即目标分布为多峰的“方向”。在第二步中，估计反应坐标相对于后验分布的边际对数密度;在计算统计物理学文献中，减去这个量被称为“自由能”。为此，我们使用自适应偏置马尔可夫链算法，该算法在飞行中调整其目标不变分布，以克服沿所选反应坐标的采样障碍。最后，我们执行一个重要性抽样步骤，以消除偏见，恢复真正的后验。一旦偏差已知，重要性抽样步骤的效率因子可以很容易地估计为\emph{a priori}，并且对于我们考虑的测试用例似乎相当大。关键的一点是反应坐标的选择。一个标准的选择（例如在经典的Wang-Landau算法中使用）是减去对数后验密度。我们讨论其他的选择。我们特别表明，超参数，确定每个组件的方差的数量级的顺序是一个方便和有效的反应坐标。我们还展示了如何适应的方法来计算混合模型的证据（边际似然）。我们通过分析两个真实的数据集来说明我们的方法。
2011-04-18 math.ST stat.CO stat.TH
Adaptive Bayesian density estimation using Pitman-Yor or normalized inverse-Gaussian process kernel mixtures
我们考虑贝叶斯非参数密度估计使用Pitman-Yor或归一化逆高斯过程核混合作为密度的先验分布。该程序是从频率论的角度进行研究。使用棒打破皮特曼-约尔过程或表达的有限维分布的归一化逆高斯过程，我们证明了，当数据是从一个无限光滑的密度重复，后验分布集中在任何收缩$L^p$ -范数球，$1\leq p\leq\infty$，周围的采样密度在\emph{nearly parametric}率，对数因子。由此产生的分层贝叶斯过程，与一个固定的前，因此示出是自适应的采样密度的平滑度的无限。
2013-02-13 math.ST stat.TH
CPU- and GPU-based Distributed Sampling in Dirichlet Process Mixtures for Large-scale Analysis
Ben-Gurion University（本-古里安大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
在无监督学习领域，贝叶斯非参数混合模型，以狄利克雷过程混合模型（DPMM）为例，提供了一种使模型的复杂性适应数据的原则性方法。这种模型在聚类任务中特别有用，其中聚类的数量是未知的。然而，尽管DPMM具有潜力和数学上的优雅，但它尚未成为从业者广泛采用的主流工具。这可能是由于一种误解，即这些模型的可扩展性很差，以及缺乏可以有效处理大型数据集的高性能（和用户友好）软件工具。在本文中，我们提出了一个新的，易于使用的，统计软件包可扩展DPMM推理弥合这一实际差距。更具体地说，我们为DPMM中的高性能分布式基于采样的推理提供了高效且易于修改的实现，其中用户可以自由选择多机，多核，CPU实现（用Julia编写）和多流GPU实现（用CUDA/C++编写）。CPU和GPU实现都带有一个通用的（可选的）python包装器，为用户提供了一个具有相同界面的单一入口点。在算法方面，我们的实现利用了领先的DPMM采样器（Chang和Fisher III，2013）。虽然Chang和Fisher III的实现（用MATLAB/C++编写）只使用CPU，并且是为单个多核机器设计的，但我们在这里提出的包可以在多个多核机器或多个GPU流之间有效地分配计算。这导致了加速，消除了内存和存储限制，并使我们能够将DPMM拟合到比以前（Chang和Fisher III，2013）或其他DPMM方法更大的数据集和更高的维度。
2022-04-19 cs.LG stat.ML
Bayesian Mixture Models for Frequent Itemset Discovery
ASN Technology Group Co,.Ltd（ASN科技集团有限公司）；University of Manchester（曼彻斯特大学）
在二进制事务数据挖掘中，传统的频繁项集挖掘往往产生难以解释的结果。为了克服这个问题，通常使用概率模型来产生更紧凑和结论性的结果，尽管精度有所损失。近年来，贝叶斯统计被广泛用于机器学习中概率模型的开发，这些方法具有许多优点，包括它们避免过拟合的能力。在本文中，我们开发了两个贝叶斯混合模型的Dirichlet分布先验和Dirichlet过程（DP）之前，以改善以前的非贝叶斯混合模型开发的交易数据集挖掘。我们使用两种方法实现这两个混合模型的推理：一个崩溃的吉布斯抽样方案和变分近似算法。在几个基准问题的实验表明，这两个混合模型实现更好的性能比非贝叶斯混合模型。变分算法是两种方法中速度较快的一种，而吉布斯抽样法得到的结果更为精确。Dirichlet过程混合模型可以自动增长到适当的复杂度，以获得更好的近似。一旦模型构建完成，查询和运行分析就可以非常快（通常比Eclat快10倍，我们将在实验部分中展示）。然而，这些方法也表明，混合模型低估了频繁项集的概率。因此，这些模型具有较高的灵敏度，但特异性较低。
2012-09-26 cs.IR cs.LG stat.ML
How to Approximate Inference with Subtractive Mixture Models
University of Edinburgh（爱丁堡大学）；University of Warwick（沃里克大学）；KU Leuven（鲁汶大学）
本文研究了如何通过设计IS的期望估计器和VI的学习方案来有效利用减法混合模型，并评估其在分布近似中的表现，同时讨论了估计稳定性与学习效率的挑战。
2026-04-17 cs.LG stat.CO stat.ML
Differentiability and Approximation of Probability Functions under Gaussian Mixture Models
Universidad Técnica Federico Santa María（弗雷德里克·维多利亚技术大学）；Universidad de Chile（智利大学）；Universidad de O’Higgins（奥希金斯大学）
研究高斯混合模型下概率函数，通过扩展球面径向分解，结合条件概率分布特性，将概率函数表示为球面积分，建立可微性条件与梯度表示，并用随机采样逼近概率函数，通过数值示例展示该方法优势。
2026-07-10 math.OC math.PR stat.ML
A Mixture-Based Framework for Guiding Diffusion Models
KTH University（KTH大学）
本文提出一种基于混合模型的扩散模型引导框架，通过混合近似中间后验分布并结合吉布斯采样，解决贝叶斯反问题中似然函数难以处理的问题，并在图像反问题和音频源分离任务上验证了有效性。
2025-02-05 cs.LG stat.ML
Perfect Simulation for Mixtures with Known and Unknown Number of components
我们提出并开发了一种新的和有效的完美的抽样方法，从后验对应的混合物与已知（固定）或未知数量的组件进行模拟。对于后者，我们认为狄利克雷过程为基础的混合物模型开发的这些作者，并表明，我们的想法是适用于共轭，重要的是，非共轭的情况下。正如预期的那样，正如我们所示，完美的采样与已知数量的组件的混合物可以实现少得多的努力与我们的一般方法的简化版本，无论是否共轭或非共轭先验。虽然我们的理论在共轭设置中不需要特殊的假设，但我们需要在非共轭设置中假设有界参数空间。然而，我们认为，适当的分析，模拟和真实的数据研究作为支持，这种有界性假设是不现实的，在实践中不是一个障碍。我们不仅从理论上和模拟研究验证我们的想法，但我们也考虑应用我们的建议，以三个真实的数据集，在过去的几个作者使用的混合模型。无论是模拟研究还是实际数据应用，我们在每一个实验中取得的结果都是令人鼓舞的。
2012-03-13 stat.CO
On semi-supervised estimation using exponential tilt mixture models
Rutgers University（罗格斯大学）；New York University（纽约大学）
本研究针对半监督二元分类，提出基于指数倾斜混合模型的非参数似然估计方法，推导其渐近性质，证明在随机与分层抽样下比监督逻辑回归更高效，并统一了与半参数效率理论的关系，模拟验证了理论结果。
2023-11-14 cs.LG stat.ML
