Bayesian Level Set Clustering
本文提出了一种基于贝叶斯决策理论的密度聚类方法，通过解耦聚类与密度建模问题，提升聚类的准确性和鲁棒性。
2025-12-11 stat.ME
Optimal Bayesian clustering using non-negative matrix factorization
基于贝叶斯模型的聚类是一种广泛应用的发现数据集中相关观测组的过程。这些方法使用贝叶斯混合模型，用MCMC估计，提供模型参数和聚类分区的后验样本。虽然对模型参数的推断已经很好地建立，但对聚类分区的推断还不太发达。提出了一种基于贝叶斯聚类模型的两两后验相似矩阵估计最优划分的新方法。这种方法使用非负矩阵分解（NMF）提供一个低秩近似的相似性矩阵。因子分解允许硬或软分区，并表现出更好的性能比几个流行的替代品下的各种惩罚函数。
2018-09-20 stat.ME
Spectral Clustering using PCKID - A Probabilistic Cluster Kernel for Incomplete Data
在本文中，我们提出了PCKID，一种新颖的，强大的，核函数的谱聚类，专门设计用于处理不完整的数据。通过结合不同尺度上不完整数据的高斯混合模型的后验分布，我们能够学习不依赖于任何临界超参数的不完整数据的核，这与常用的RBF核不同。为了评估我们的方法，我们在两个真实的数据集上进行了实验。PCKID在缺失值的所有分数方面都优于基线方法，在某些情况下，其表现优于基线方法高达25个百分点。
2017-02-23 stat.ML
Bayesian Dynamic Clustering Factor Models
提出贝叶斯动态聚类因子模型，结合因子分析与隐马尔可夫模型，实现多元纵向数据的降维、聚类及动态转换估计，并验证其有效性。
2025-05-27 stat.ME
Probabilistic Solutions To Ordinary Differential Equations As Non-Linear Bayesian Filtering: A New Perspective
我们将常微分方程（ODE）解的概率数值近似表示为具有非线性测量函数的高斯过程（GP）回归问题。这是通过定义测量序列来实现的，该测量序列由GP的导数与在GP处评估的向量场之间的差的观测值组成-这些观测值在ODE的解处均为零。当GP具有状态空间表示时，问题可以简化为非线性贝叶斯滤波问题，并且所有广泛使用的贝叶斯滤波和平滑问题的近似都变得适用。此外，所有以前的基于GP的ODE求解器，制定在生成合成测量的梯度场出来作为特定的近似。基于本文提出的非线性贝叶斯滤波问题，我们开发了新的高斯求解器，我们建立了良好的稳定性。此外，非高斯近似的滤波问题推导出的粒子滤波器的方法。所得到的求解器进行了比较与其他概率求解器在说明性实验。
2019-04-24 stat.CO stat.ME stat.ML
Uncertainty Quantification in Bayesian Clustering
本文提出了一种基于贝叶斯聚类模型的后处理方法，用于生成易于使用、快速计算和直观解释的可信集，并提供新的聚类不确定性度量。
2025-11-20 stat.ME
BayesClint: Bayesian Multi-Scale Clustering and Multi-Sample Integration With Feature Selection for Spatial Transcriptomics Data
University of Minnesota（明尼苏达大学）
针对空间转录组学数据聚类方法的局限性，提出BayesClint贝叶斯方法同时进行因子分析和空间聚类，在多尺度联合聚类，还采用特征选择机制，通过模拟研究和实际应用展示了其优于其他方法的优势。
2026-07-28 stat.ME
BayesCPclust: A Bayesian Approach for Clustering Constant-Wise Change-Point Data
Department of Statistical and Actuarial Sciences, University of Western Ontario（西安大略大学统计与精算科学系）
提出非参数贝叶斯模型BayesCPclust，通过吉布斯采样和狄利克雷过程对常数段变点数据进行聚类并同时估计多个变点，无需预设聚类数，在模拟和单细胞数据上表现良好。
2025-02-10 stat.ME
clusterBMA: Bayesian model averaging for clustering
在集成聚类文献中，已经开发了各种方法来组合跨多组结果的推理以进行无监督聚类。从几个备选聚类模型中选出一个“最佳”模型报告结果的做法通常忽略了模型选择产生的不确定性，并导致对特定模型和所选参数敏感的推论。贝叶斯模型平均（BMA）是一种流行的方法，用于组合多个模型的结果，在这种情况下提供了一些有吸引力的好处，包括组合聚类结构的概率解释和基于模型的不确定性的量化。在这项工作中，我们介绍了clusterBMA，一种方法，使加权模型平均从多个无监督聚类算法的结果。我们使用聚类内部验证标准来开发后验模型概率的近似值，用于对每个模型的结果进行加权。从一个共识矩阵表示的加权平均值的聚类解决方案的模型，我们应用对称单纯形矩阵分解计算最终的概率集群分配。除了在模拟数据上优于其他集成聚类方法外，clusterBMA还提供了独特的功能，包括对平均聚类的概率分配，结合“硬”和“软”聚类算法的分配概率，以及测量平均聚类分配中基于模型的不确定性。此方法在附带的同名R包中实现。
2023-03-26 stat.AP stat.ME stat.ML
Conditional partial exchangeability: a probabilistic framework for multi-view clustering
针对多视图/纵向数据中经典基于模型的聚类无法捕捉跨域个体内依赖的问题，提出条件部分可交换性概率范式及对应贝叶斯聚类模型，实现灵活依赖聚类并兼顾计算可行性。
2025-03-25 math.ST stat.ME stat.TH
On Misspecified Error Distributions in Bayesian Functional Clustering: Consequences and Remedies
本文揭示贝叶斯函数聚类高估簇数源于误差独立性误设，提出用高斯过程建模相关结构并给出可扩展近似，显著改善狄利克雷过程聚类效果。
2025-10-20 stat.ME
Local Probabilistic Model for Bayesian Classification: a Generalized Local Classification Model
在贝叶斯分类中，重要的是为每个类别建立概率模型以进行似然估计。以前的方法大多是在整个样本空间中对概率分布进行建模。然而，现实世界中的问题通常过于复杂，无法在整个样本空间中建模，需要一些基本假设来简化全局模型，例如，朴素贝叶斯分类的类条件独立性假设。在本文中，洞察到在局部样本空间中的分布应该比在整个样本空间中的分布更简单，期望为局部区域建立的局部概率模型要简单得多，并且可以放松在整个样本空间中可能不成立的基本假设。基于这些优点，我们建议建立贝叶斯分类的局部概率模型。此外，采用局部概率模型的贝叶斯分类器甚至可以被看作是一种广义的局部分类模型，通过调整局部区域的大小和相应的局部模型假设，可以为特定的分类问题建立拟合模型。在实际数据集上的实验结果表明了局部概率模型在贝叶斯分类中的有效性。
2018-12-13 cs.LG stat.ML
Probabilistic Search for Structured Data via Probabilistic Programming and Nonparametric Bayes
Massachusetts Institute of Technology（麻省理工学院）
数据库分布广泛，但提取相关数据可能很困难。在没有大量领域知识的情况下，多变量搜索查询通常返回稀疏或无信息的结果。提出了一种基于概率规划和非参数贝叶斯的结构化数据搜索方法。用户使用概率语言指定查询，该语言将标准SQL数据库搜索操作符与称为预测相关性的信息理论排名功能相结合。预测相关性可以通过基于来自CrossCat的后验样本的快速稀疏矩阵算法来计算，CrossCat是用于高维、异质类型数据表的非参数贝叶斯模型。其结果是一个灵活的搜索技术，适用于广泛的一类信息检索问题，我们集成到贝叶斯数据库，概率数据分析的概率编程平台。本文展示了美国大学数据库，全球公共卫生宏观经济指标和经典汽车的应用程序。我们发现，人类评估者通常更喜欢概率搜索的结果，而不是标准基线的结果。
2017-04-04 cs.AI cs.DB cs.LG
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们制定加权图聚类作为一个预测问题：给定一个子集的边缘权重，我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类，以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析（Seldin and Tishby，2008; Seldin，2009）来推导图聚类的PAC-Bayesian泛化界。该界限表明，图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果（Slonim等人，2005年; Yom-Tov和Slonim，2009年）。本文通过提供更好的理论基础，提出形式化的推广保证，并提供更准确的方法来处理有限样本问题，从而支持了经验证据。我们推导出一个界最小化算法，并表明它在现实生活中的问题提供了很好的结果，所得出的PAC贝叶斯界是合理的紧。
2010-09-02 cs.DS cs.LG stat.ML
Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks
大型多层神经网络训练的反向传播最近取得了国家的最先进的结果，在广泛的问题。然而，使用反向传播进行神经网络学习仍然存在一些缺点，例如，必须将大量超参数调整到数据，缺乏校准的概率预测，以及过度拟合训练数据的趋势。原则上，学习神经网络的贝叶斯方法不存在这些问题。然而，现有的贝叶斯技术缺乏对大数据集和网络规模的可扩展性。在这项工作中，我们提出了一种新的可扩展的方法学习贝叶斯神经网络，称为概率反向传播（PBP）。与经典的反向传播类似，PBP的工作原理是通过网络计算概率的前向传播，然后进行梯度的后向计算。在10个真实世界数据集上进行的一系列实验表明，PBP比其他技术快得多，同时提供了有竞争力的预测能力。我们的实验还表明，PBP提供了准确的估计后验方差的网络权重。
2015-07-15 stat.ML
Bayesian Consensus Clustering
Duke University Medical Center（杜克大学医学中心）；Duke University（杜克大学）
基于多个数据源对一组对象进行聚类的任务出现在几个现代应用中。我们提出了一个综合的统计模型，允许一个单独的聚类的对象为每个数据源。这些单独的聚类松散地附着于整体共识聚类，因此它们不是独立的。我们描述了一个计算上可扩展的贝叶斯框架，同时估计的共识聚类和特定于源的聚类。我们证明了这种灵活的方法比所有数据源的联合聚类更强大，并且比单独对每个数据源进行聚类更强大。这项工作的动机是异构生物医学数据的综合分析，我们提出了一个应用程序，使用公开的数据从癌症基因组图谱的乳腺癌肿瘤样本的亚型鉴定。软件可在http://people.duke.edu/~el113/software.html上获得。
2013-02-28 cs.LG stat.ML
Exploring complex dependence structures using Bayesian bi-clustering and log-linear graphical modelling
University of St Andrews（圣安德鲁斯大学）
该研究结合贝叶斯双聚类与对数线性图模型，通过理论推导与模拟、真实数据验证，揭示变量依赖结构，阐明混合建模与图对数线性建模的关系，助力高效探索庞大的模型空间。
2026-08-25 stat.ME
Without Pain -- Clustering Categorical Data Using a Bayesian Mixture of Finite Mixtures of Latent Class Analysis Models
本文提出一种贝叶斯两层有限混合模型，用潜在类别分析近似簇分布，结合伸缩采样器和标签切换处理，实现对未知簇数多元分类数据的简约聚类，并在模拟和下背痛数据上验证了有效性。
2024-07-07 stat.ME
Frank-Wolfe Bayesian Quadrature: Probabilistic Integration with Theoretical Guarantees
有新的兴趣制定集成作为一个推理问题，通过获得一个完整的分布，可以通过后续的计算传播的数值误差的动机。目前的方法，如贝叶斯求积，表现出令人印象深刻的经验性能，但缺乏理论分析。一个重要的挑战是调和这些概率积分严格的收敛保证。在本文中，我们提出了第一个概率积分，承认这样的理论治疗，称为弗兰克-沃尔夫贝叶斯正交（FWBQ）。根据FWBQ，收敛到真值的积分是指数和后收缩率被证明是超指数。在模拟中，FWBQ与最先进的方法相比具有竞争力，并且优于基于Frank-Wolfe优化的替代方案。我们的方法是成功地量化数值误差的解决方案，在细胞生物学中具有挑战性的模型选择问题。
2015-12-06 stat.ML
Distributed Bayesian clustering using finite mixture of mixtures
在许多现代应用中，人们对分析无法轻松跨计算机移动或加载到单个计算机上的存储器中的庞大数据集感兴趣。在这种情况下，对集群感兴趣是非常普遍的。现有的分布式聚类算法大多是基于距离或密度的，没有可能性规范，排除了正式的统计推断的可能性。基于模型的聚类允许统计推断，但分布式推断的研究强调非参数贝叶斯混合模型的有限混合模型。为了填补这一空白，我们引入了一个几乎并行的算法下的贝叶斯过拟合有限混合高斯混合，我们的分布式贝叶斯聚类（DIB-C）的聚类。DIB-C可以灵活地适应各种形状的数据集（例如倾斜或多模态）。随着数据的随机划分和分布，我们首先运行马尔可夫链蒙特卡罗在一个非常并行的方式来获得本地聚类绘制，然后细化跨工人的最终聚类估计的基础上的任何损失函数的空间分区。DIB-C还可以估计聚类密度，快速对新对象进行分类，并提供后验预测分布。仿真研究和实际数据的应用表明，优越的性能DIB-C的鲁棒性和计算效率。
2020-05-14 stat.CO stat.ME
Bayesian Clustering Factor Models
本文提出贝叶斯聚类因子模型框架，结合因子分析与高斯混合实现同时降维和聚类，并通过 Gibbs 采样与信息准则进行推断和模型选择，在模拟和阿片类药物康复数据中验证了其有效性。
2025-05-08 stat.ME
A Nonparametric Bayesian Method for Clustering of High-Dimensional Mixed Dataset
本文是从高吞吐量混合数据集的聚类问题出发的。这些数据集的聚类可以提供对生物学关联的深入了解。在这种情况下，一个开放的问题是同时聚类高维混合数据集。本文填补了这一空白，并提出了一种非参数贝叶斯方法称为Gen-VariScan的高维混合数据集的双聚类。Gen-VariScan利用广义线性模型（GLM）和潜在变量方法来整合混合数据集。我们利用Poisson Dirichlet过程（PDP）来识别混合协变量的低维结构。我们发现，协变量协聚类检测是后验一致的，随着受试者和协变量的数量的增长。通过数值模拟和数据分析，验证了Gen-VariScan的优越性。作为一个副产品，我们推导出一个工作值的方法来执行beta回归。本文的补充材料可在网上查阅。
2018-08-14 stat.ME
Bayesian Multiplicity Correction in the Probabilistic Forward Stepwise Framework
Department of Mathematics and Statistics, Portland State University（波特兰州立大学数学与统计系）
本文在回归问题的概率前向逐步模型空间先验表示中，提出一种自然的贝叶斯多重校正先验分布，通过类比Holm过程实现，并与Matryoshka doll先验行为一致，论证了多重校正为回归模型空间先验设定提供了原则性且透明的标准。
2026-05-27 math.ST stat.ME stat.ML
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
一个好的聚类可以帮助数据分析师探索和理解数据集，但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难正式化，即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法来交互式聚类数据探索，称为\ciif，基于一个特别简单的反馈机制，在该机制中，分析师可以选择拒绝个别集群，并要求新的。新的聚类应该与以前拒绝的聚类不同，同时仍然很好地拟合数据。我们正式这种互动在一个新的贝叶斯先验启发框架。在每次迭代中，先验被适配为考虑所有先前的反馈，然后从后验分布产生新的聚类。为了实现必要的交互式设置的计算效率，我们提出了一种增量优化方法，使用拉格朗日松弛的数据minibatches。实验表明，\ciif可以产生准确和多样的聚类。
2016-06-08 cs.LG stat.ML
Bayesian Clustering Prior with Overlapping Indices for Effective Use of Multisource External Data
针对多源外部数据异质性导致先验综合信息失真问题，提出基于重叠指数的贝叶斯聚类先验框架，通过K-Means算法平衡一致性与鲁棒性识别最优聚类，有效借用外部信息并提升临床试验设计与分析效果。
2024-12-08 stat.ME
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Twitter（推特）
一个好的聚类可以帮助数据分析师探索和理解数据集，但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难形式化，即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法，称为TINDER的数据探索的交互式聚类，基于一个特别简单的反馈机制，在该机制中，分析师可以拒绝给定的聚类，并要求一个新的，这是选择从以前的聚类不同，同时适合的数据。我们在贝叶斯框架中将这种相互作用形式化为先前启发的方法，其中每个不同的聚类由经过修改以阻止先前拒绝的聚类的先验分布产生。我们表明，TINDER成功地产生了一组不同的聚类，每个质量相当，这是更多样化的比随机重新启动。
2016-06-19 cs.LG stat.ML
Bayesian Probabilistic Numerical Methods
新兴的概率数值学领域迄今为止还缺乏明确的统计原理。本文建立了贝叶斯概率数值方法，这些方法可以作为贝叶斯框架内某些反问题的解决方案。这使我们能够建立贝叶斯概率数值方法定义良好的一般条件，包括非线性和非高斯模型。对于一般的计算，提出了一个数值逼近方案，并建立了其渐近收敛性。理论发展，然后扩展到管道的计算，其中概率数值方法组成，以解决更具挑战性的数值任务。的贡献突出了一个重要的研究前沿的接口的数值分析和不确定性量化，具有挑战性的工业应用。
2017-07-07 cs.NA math.NA math.ST
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology（浦项科技大学）
贝叶斯层次聚类（Bayesian hierarchical clustering，BHC）是一种凝聚聚类方法，它定义了一个概率模型，并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势，传统的基于距离的凝聚聚类算法，连续的边缘似然评估和仔细的超参数调整是繁琐的，限制了可扩展性。在本文中，我们放松BHC到一个非概率制定，探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法，被称为放松BHC（RBHC），从BHC模型的渐近极限，表现出基于距离的凝聚聚类算法的可扩展性，以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少，使我们能够使用可扩展的算法，如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
Reliable data clustering with Bayesian community detection
Integrated Science Lab, Department of Physics, Umeå University, Umeå, Sweden（整合科学实验室，物理系，乌梅大学，乌梅，瑞典）
本研究提出利用贝叶斯社区检测方法（度修正随机块模型和正则化映射方程）结合最小描述长度原则，实现抗噪声的可靠数据聚类，在合成数据和基因共表达数据上优于传统方法。
2026-10-19 cs.LG physics.data-an stat.ME
Model-free Bayesian Clustering and Multimodal Posterior Summarisation
University of Edinburgh（爱丁堡大学）
该研究提出无模型感知噪声贝叶斯聚类框架，结合Wasserstein型摘要方法，可避免复杂模型指定与昂贵采样，能有效捕捉聚类及噪声不确定性。
2026-10-12 cs.LG stat.ML
A Nonparametric Bayesian Item Response Modeling Approach for Clustering Items and Individuals Simultaneously
项目反应理论（IRT）是一种流行的建模范式，用于根据测试或问卷中的离散反应来测量被试的潜在特质和项目属性。关于项目和个体的异质性模式检测的讨论非常有限。在本文中，我们介绍了一个非参数贝叶斯方法的聚类项目和个人同时在Rasch模型。具体来说，我们提出的方法是基于有限混合物（MFM）模型的混合。MFM同时获得项目和个体的聚类数和聚类配置。通过仿真研究评估了MFM Rasch模型下参数估计和参数聚类的性能，并应用实际数据集来说明MFM Rasch建模。
2020-05-29 stat.AP stat.ME
Bayesian nonparametric temporal dynamic clustering via autoregressive Dirichlet priors
在本文中，我们考虑动态聚类的问题，集群成员可能会随着时间的推移而改变，集群可能会随着时间的推移分裂和合并，从而创建新的集群和破坏现有的。我们提出了一个贝叶斯非参数方法，通过混合建模的动态聚类。我们的方法依赖于一种新的时间依赖性非参数先验定义相结合：i）基于Copula的高斯自回归过程的变换; ii）狄利克雷过程的棒断裂构造。后验推理是通过粒子马尔可夫链蒙特卡罗算法，这是简单的，计算效率高，可扩展到大规模的数据集。所提出的方法的优点包括应用的灵活性，易于计算和可解释性。我们提出了一个应用程序，我们的动态贝叶斯非参数混合模型的时间动态的形容词和职业在20世纪和21世纪的美国性别刻板印象的研究。此外，为了突出我们的模型的灵活性，我们提出了额外的应用程序与协变量和空间结构的时间相关的数据。
2019-10-23 stat.ME
Bayesian Supervised Causal Clustering
School of Informatics, University of Edinburgh（信息学院，爱丁堡大学）；Usher Institute, University of Edinburgh（乌瑟研究所，爱丁堡大学）
本文提出贝叶斯监督因果聚类方法，通过治疗效应指导聚类过程，识别具有相似协变量特征和治疗效应的同质亚组，并在模拟和现实数据上验证其有效性。
2026-03-05 cs.LG stat.ML
Bayesian contiguity constrained clustering, spanning trees and dendrograms
聚类是一个众所周知的和研究的问题，它的一个变种，称为邻接约束聚类，接受作为第二输入的图，用于编码的先验信息的集群结构的邻接约束，即集群必须形成连接的子图的这个图。本文讨论了这样一个设置的兴趣，并提出了一种新的方式来正式它在贝叶斯设置，使用生成树的结果来精确计算候选分区的后验概率。算法的解决方案，然后调查，找到一个最大后验（MAP）分区，并从中提取贝叶斯树状图。这最后一个工具，这是一个简单的层次聚类算法的经典输出，这是令人想起的兴趣进行了分析。最后，通过实际应用验证了所提出的方法。本文附带的R包gtdem中提供了这项工作的参考实现（可在http：//github.com/comeetie/gtdem获得）
2023-02-24 stat.CO stat.ME
Hybrid Bayesian Neural Networks with Functional Probabilistic Layers
IBM（国际商业机器公司）
贝叶斯神经网络提供了一种直接和自然的方式来扩展标准深度神经网络，以通过使用概率层来支持概率深度学习，传统上，概率层对权重（和偏差）不确定性进行编码。具体地，混合贝叶斯神经网络利用标准确定性层以及在网络中合理定位的几个概率层来进行不确定性估计。贝叶斯推理的一个主要方面和好处是，先验知识原则上提供了对先验知识进行编码的方法，以用于推理和预测。然而，由于权重没有直观的解释，因此很难指定权重的先验知识。此外，权重的先验与网络计算的函数之间的关系很难表征。相比之下，函数解释起来很直观，并且是直接的，因为它们将输入映射到输出。因此，很自然地指定函数的先验知识来编码先验知识，并将它们用于基于函数的推理和预测。为了支持这一点，我们提出了混合贝叶斯神经网络与功能概率层编码功能（和激活）的不确定性。我们讨论了它们在函数贝叶斯推理、函数变分推理、稀疏高斯过程和稀疏变分高斯过程中的基础。我们进一步使用GPflus进行了一些概念验证实验，GPflus是一个新的库，提供高斯过程层，并支持它们与确定性Keras层一起使用，以形成混合神经网络和高斯过程模型。
2021-07-14 cs.LG stat.ML
Bayesian Distance Clustering
University of Florida（佛罗里达大学）；Duke University（杜克大学）
基于模型的聚类被广泛应用于各种应用领域。然而，对稳健性的基本担忧仍然存在。特别是，结果可以是敏感的内核代表内集群数据密度的选择。利用数据点之间的成对差异的属性，我们提出了一类贝叶斯距离聚类方法，它依赖于建模的成对距离的可能性，而不是原始数据。虽然数据中的一些信息被丢弃，但我们对建模假设具有很大的鲁棒性。所提出的方法代表了一个有吸引力的中间地带之间的距离和基于模型的聚类，从这些典型的方法中的每一个借鉴的优势。我们说明了戏剧性的收益，推断集群的能力，通常的内核选择没有很好地表示。包括一个模拟研究，以评估相对于竞争对手的性能，我们应用的方法来聚类的大脑基因组表达数据。保留字：基于距离的聚类;混合模型;基于模型的聚类;模型规格错误;成对距离矩阵;部分可能性;鲁棒性
2019-06-25 cs.LG stat.ML
A Quasi-Bayesian Perspective to Online Clustering
当面对高频率的数据流时，聚类会带来理论和算法上的缺陷。我们介绍了一种新的和自适应的在线聚类算法依赖于准贝叶斯方法，与动态（即，时间相关的）估计（未知的和变化的）簇的数量。我们证明了我们的方法是支持极大极小遗憾界。我们还提供了一个RJMCMC风格的实现（称为PACBO，请参阅https：//cran.r-project.org/web/packages/PACBO/index.html），我们为它提供了收敛保证。最后，数值实验说明了我们的程序的潜力。
2018-05-25 math.ST stat.ML stat.TH
Revisiting k-means: New Algorithms via Bayesian Nonparametrics
Ohio State University（俄亥俄州立大学）；UC Berkeley（加州大学伯克利分校）
贝叶斯模型为聚类应用提供了很大的灵活性-贝叶斯非参数可用于建模无限混合物，分层贝叶斯模型可用于在多个数据集上共享聚类。在大多数情况下，这种灵活性是缺乏经典的聚类方法，如k-means。在本文中，我们重新审视的k-means聚类算法从贝叶斯非参数的观点。受启发的渐近连接之间的k-均值和混合高斯，我们表明，吉布斯采样算法的Dirichlet过程的混合接近硬聚类算法的限制，并进一步得到的算法单调最小化一个优雅的底层k-均值聚类目标，包括惩罚的集群数量。我们推广这种分析的情况下，聚类多个数据集，通过类似的渐近参数与分层狄利克雷过程。我们还讨论了进一步的扩展，突出了我们的分析的好处：i）涉及阈值特征向量的谱松弛，和ii）归一化割图聚类算法，不固定图中的聚类数量。
2012-06-14 cs.LG stat.ML
A Bayesian Semiparametric Factor Analysis Model for Subtype Identification
疾病亚型识别（聚类）是生物医学研究中的一个重要问题。基因表达谱通常用于推断疾病亚型，这通常导致对疾病的生物学意义的见解。尽管有许多成功的，现有的聚类方法可能无法很好地执行时，基因是高度相关的，许多无信息的基因，包括聚类由于高维。在这篇文章中，我们介绍了一种新的亚型识别方法在贝叶斯设置的基础上基因表达谱。这种方法，称为BCSub，采用了创新的半参数贝叶斯因子分析模型，以减少数据的维度到几个因素得分聚类。具体而言，因子得分被假定为遵循狄利克雷过程混合模型，以诱导聚类。通过广泛的模拟研究，我们表明，BCSub的常用聚类方法的性能有所提高。当应用于两个基因表达数据集时，我们的模型能够识别出比现有方法更具有临床相关性的亚型。
2016-09-26 stat.ME
Bayesian Clustering via Fusing of Localized Densities
针对贝叶斯聚类中核函数错误设定导致簇被错误分裂的问题，提出基于局部密度融合（FOLD）的新方法，利用后验分布融合成分，在核错误设定下保持聚类最优性并减少簇数。
2024-07-26 stat.ME
Spectral Clustering, Bayesian Spanning Forest, and Forest Process
本文提出贝叶斯森林模型和森林过程，为谱聚类提供生成式图建模框架，从而量化聚类不确定性并支持高维与多视图聚类等扩展。
2023-04-12 stat.ME
Amortized Bayesian inference for clustering models
Columbia University（哥伦比亚大学）
我们开发了有效的摊销近似贝叶斯推断的概率聚类模型，如狄利克雷过程混合模型的后验分布的方法。该方法是基于映射到条件概率的集群安排的分布式，不变性表示。该方法易于并行化，从聚类分配的近似后验中产生iid样本，具有与单个Gibbs采样器扫描相同的计算成本，并且可以容易地应用于共轭和非共轭模型，因为训练仅需要来自生成模型的样本。
2018-11-24 cs.LG stat.CO stat.ML
Approach of variable clustering and compression for learning large Bayesian networks
ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文提出了一种基于特征空间聚类的块学习大型贝叶斯网络结构的新方法。该聚类是使用归一化互信息获得的。块的后续聚合使用经典学习方法完成，除了它们被输入关于每个块的特征值组合的压缩信息。这种方法的验证完成爬山作为两个得分函数：BIC和MI的图枚举算法。以这种方式，即使对于被认为不适合于可并行化学习的那些得分函数，也可以实现潜在的可并行化块学习。该方法的优点是评估的工作速度以及所发现的结构的准确性。
2022-08-29 cs.LG stat.ML
Clustering With Side Information: From a Probabilistic Model to a Deterministic Algorithm
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
在本文中，我们提出了一种基于模型的聚类方法（TVClust），鲁棒地将噪声边信息作为软约束，旨在寻求边信息和观测数据之间的共识。我们的方法是基于一个非参数贝叶斯分层模型，该模型结合了数据实例的概率模型和边信息的概率模型。提出了一种有效的吉布斯抽样后验推理算法。使用我们的概率模型的小方差渐近性，然后，我们推导出一个新的确定性聚类算法（RDP-means）。它可以被视为K均值的扩展，允许包含边信息，并具有不需要先验指定聚类数的附加属性。已经进行了实证研究，比较我们的工作与许多约束聚类算法的文献上的各种数据集和各种条件下，如使用嘈杂的边信息和错误的k值。我们的实验结果表明，在这些条件下，我们的概率和确定性的方法相比，在文献中的其他算法强有力的结果。
2015-10-31 cs.AI cs.LG stat.CO
Scalable Bayesian Nonparametric Clustering and Classification
我们开发了一个可扩展的多步蒙特卡罗算法推理下的一大类非参数贝叶斯模型的聚类和分类。每一步都是“并行的”，并且可以使用相同的马尔可夫链蒙特卡罗采样器来实现。我们的方法的简单性和通用性使得推理适用于大型数据集的贝叶斯非参数混合模型。具体来说，我们应用的方法推断下的产品分区模型与回归协变量。我们展示了两个激励数据集的推理结果：一个大型的电子健康记录（EHR）和一个银行电话营销数据集。我们发现有趣的集群和良好的分类性能相对于其他广泛使用的竞争分类。
2018-06-07 stat.CO stat.ME
Robust Bayesian Model Selection for Variable Clustering with the Gaussian Graphical Model
变量聚类对于解释性分析很重要。然而，只有少数专门的方法与高斯图形模型的变量聚类已经提出。甚至更严重的是，由于噪声导致的微小的不显著的偏相关性可以在例如使用贝叶斯信息准则（BIC）进行评估时显著地改变聚类结果。在这项工作中，我们试图解决这个问题，提出了一个贝叶斯模型，占可以忽略不计的小，但不一定为零，偏相关。基于我们的模型，我们建议使用边际似然来评估变量聚类结果。为了解决棘手的计算的边际似然，我们提出了两种解决方案：一个基于变分近似，另一个基于MCMC。仿真数据的实验表明，该方法是类似的准确BIC在无噪声设置，但有噪声的偏相关时，准确得多。此外，在真实数据上，所提出的方法提供了直观合理的聚类结果，这在使用BIC或其扩展时并不总是如此。
2018-06-15 stat.AP stat.CO stat.ML
Bayesian Nonparametric Graph Clustering
我们提出了利用变量之间的图形结构的底层几何的多变量数据的聚类方法。与假设已知图结构的标准方法相反，我们首先使用贝叶斯邻域选择方法估计未知图的边缘结构，其中我们通过模型平均估计合适的参数来考虑图形结构学习的不确定性。随后，我们开发了一个非参数图聚类模型的低维投影的基础上的拉普拉斯嵌入Dirichlet过程混合模型。与标准算法方法相比，这种完全概率的方法允许在图结构学习和聚类的估计和推断中引入不确定性。更重要的是，我们正式的拉普拉斯嵌入的参数作为合适的投影图聚类的估计图拉普拉斯特征空间的一致性提供理论支持。我们开发了快速的计算算法，使我们的方法可以扩展到大量的节点。通过大量的模拟，我们比较我们的聚类性能与标准的聚类方法。我们将我们的方法应用于一个新的泛癌症蛋白质组数据集，并评估多种不同癌症类型的蛋白质网络和聚类。
2015-09-24 stat.AP stat.ME
An Alternative Prior Process for Nonparametric Bayesian Clustering
先验分布在贝叶斯聚类方法中起着至关重要的作用。两种常用的先验分布是Dirichlet和Pitman-Yor过程。在本文中，我们研究了这些过程背后的预测概率，以及由此产生的分区的隐含“富-越来越富”特征。我们探讨了一种替代的非参数贝叶斯聚类的先验-统一的过程-应用程序中的“富-更富”的属性是不可取的。我们还探讨了这一过程的成本：分区不再是可交换的变量的顺序。我们提出了新的渐近和模拟为基础的结果的聚类特性的统一过程，并比较这些与已知的结果的Dirichlet和Pitman-Yor过程。我们比较了一个真正的文档聚类任务的性能，证明了统一的过程中，尽管它缺乏交换的订单的实际优势。
2010-10-15 math.ST stat.ME stat.TH
Un modèle Bayésien de co-clustering de données mixtes
Orange Labs（Orange实验室）；Université Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）
我们提出了一个MAP贝叶斯方法来执行和评估混合类型的数据表的共同聚类。该模型通过最小化贝叶斯模型选择成本函数来推断所有变量的最优分割，然后执行共聚类。这种方法的一个优点是，它是用户参数自由。另一个主要优点是所提出的标准，它给出了一个准确的衡量模型的质量，衡量的概率拟合的数据。该标准的持续优化确保找到越来越好的模型，同时避免数据过度拟合。在实际数据上进行的实验表明，这种共聚类方法在大型数据集的探索性数据分析中的兴趣。
2019-02-06 cs.LG stat.ML
Sparse Bayesian Hierarchical Modeling of High-dimensional Clustering Problems
聚类是微阵列数据分析中最广泛使用的程序之一，例如其目的是基于观察到的不同组织之间遗传标记的异质性来发现癌症亚型。众所周知，在这样的高维环境中，许多噪声变量的存在可以压倒嵌入在高维空间中的少数信号。我们提出了一种新的贝叶斯方法的基础上的Dirichlet过程与稀疏事先，同时进行变量选择和聚类，也发现变量，只区分一个子集的集群组件。与以往的贝叶斯公式，我们使用狄利克雷过程（DP）的样本聚类以及正则化的高维均值/方差结构。为了解决这种双重使用DP带来的计算挑战，我们建议使用嵌入在马尔可夫链蒙特卡罗（MCMC）更新的顺序采样方案，以改善现有算法的DP混合模型的天真实现。我们的方法被证明在一个模拟研究和说明与白血病基因表达数据集。
2009-04-19 stat.CO stat.ME
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge（剑桥大学）
半监督聚类是将数据点聚类成簇的任务，其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的，大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的，因为它们可以从数据中推断出聚类的数量。然而，这些模型不能很好地处理高维数据，并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点，而不需要预先指定集群的数量或模型复杂的密度，数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质，并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Probabilistic Safety for Bayesian Neural Networks
University of Oxford（牛津大学）
研究了贝叶斯神经网络在对抗性输入扰动下的概率安全性。给定一个紧的输入点集，$T \subseteq \mathbb{R}^m$，我们研究的概率w.r.t.在$T$中的所有点被映射到输出空间中的相同区域$S$之后的BNN。特别地，这可以用于评估从BNN采样的网络容易受到对抗攻击的概率。我们依靠非凸优化的松弛技术，开发了一种计算BNN概率安全下限的方法，推导出区间和线性函数传播技术的明确程序。我们将我们的方法应用于在回归任务，空中防撞和MNIST上训练的BNN，经验表明，我们的方法允许使用数百万个参数来证明BNN的概率安全性。
2020-06-19 cs.LG stat.ML
Bayesian Clustering of Shapes of Curves
Florida State University（佛罗里达州立大学）
根据曲线的形状对曲线进行无监督聚类是一个具有广泛科学应用的重要问题。现有的基于模型的聚类技术或者依赖于简单的概率模型（例如，高斯），通常不适用于形状分析或假设簇的数量。我们开发了一个有效的贝叶斯方法聚类曲线数据使用弹性形状度量，是基于联合注册和比较的曲线形状。从数据中获得的弹性内积矩阵建模使用Wishart分布，其参数被分配精心选择的先验分布，以允许自动推断的集群的数量。基于中国餐馆过程，通过高效的马尔可夫链蒙特卡罗过程对后验进行采样，以推断（1）聚类数的后验分布和（2）形状的聚类结构。该方法在蛋白质结构分析、显微镜图像中的细胞形状分析和MPEG7数据库中的形状聚类等各种合成数据和真实数据示例上进行了演示。
2015-04-01 cs.LG stat.ML
Bayesian Structure Scores for Probabilistic Circuits
Eindhoven University of Technology（埃因霍温理工大学）；KU Leuven（鲁汶大学）；Graz University of Technology（格拉茨理工大学）
概率回路（PC）是概率分布的一种重要表示，具有易处理的推理。虽然PC中的参数学习被严格研究，但结构学习往往更多地基于数学而不是原则性目标。在本文中，我们开发了贝叶斯结构分数的确定性PC，即，边缘化参数的结构似然，这是众所周知的严格的目标，结构学习的概率图模型。当在贪婪割集算法中使用时，我们的分数有效地防止过拟合，并产生快速且几乎无超参数的结构学习器，将其与以前的方法区分开来。在实验中，我们在训练时间和模型拟合之间取得了良好的权衡。此外，贝叶斯分数的原则性解锁PC的适应框架，如结构预期最大化。
2023-02-23 cs.AI cs.LG stat.ML
