Probabilistic Multilevel Clustering via Composite Transportation Distance
University of California at Berkeley（加州大学伯克利分校）；Monash University（莫纳什大学）
我们提出了一种新的基于复合运输距离的多级聚类问题的概率方法，复合运输距离是运输距离的一种变体，其基本度量是Kullback-Leibler散度。我们的方法涉及到解决一个联合优化问题的概率措施，同时发现组内和组之间的分组结构的空间。通过利用我们的方法找到复合运输重心的问题的连接，我们开发快速，高效的优化算法，即使是潜在的大规模的多级数据集。最后，我们提出的实验结果与合成和真实的数据来证明所提出的方法的效率和可扩展性。
2018-10-29 cs.LG stat.ML
Beyond Spectral Clustering: Probabilistic Cuts for Differentiable Graph Partitioning
本文提出一种统一的概率框架，涵盖多种图切割方法，提供精确的分析上界，为可微图划分提供严谨且稳定的计算基础。
2026-04-01 cs.DS cs.LG stat.ML
Probabilistic Clustering of Time-Evolving Distance Data
Memorial Sloan-Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）；Humboldt University of Berlin（柏林洪堡大学）；University of Basel（巴塞尔大学）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
我们提出了一种新的概率聚类模型的对象表示通过成对的距离和观察在不同的时间点。该方法利用相邻时间点给出的信息来寻找潜在的聚类结构，并获得平滑的聚类演化。这种方法允许对象和聚类的数量在每个时间点都不同，并且不需要识别对象的身份。此外，该模型不需要预先指定聚类的数量-而是使用Dirichlet过程先验自动确定。我们验证我们的模型合成数据显示，该方法是更准确的比国家的最先进的聚类方法。最后，我们使用我们的动态聚类模型来分析和说明脑癌患者随时间的演变。
2015-04-14 cs.LG stat.ML
A generalized Bayes framework for probabilistic clustering
基于损失的聚类方法，如k-means及其变体，是在数据中查找组的标准工具。然而，缺乏量化的不确定性估计集群是一个缺点。基于混合模型的基于模型的聚类提供了一种替代方案，但这样的方法面临计算问题和对核的选择很敏感。本文提出了一个广义贝叶斯框架，这两个范式之间的桥梁，通过使用吉布斯后验。在进行贝叶斯更新时，对数似然被聚类的损失函数所取代，从而产生了丰富的聚类方法家族。吉布斯后验表示贝叶斯信念的一致更新，而无需指定数据的可能性，并且可以用于表征聚类中的不确定性。我们认为损失的基础上Bregman分歧和成对的相似性，并制定有效的确定性算法的点估计以及采样算法的不确定性量化。几个现有的聚类算法，包括k-means，可以被解释为广义贝叶斯估计在我们的框架下，因此，我们提供了一种方法的不确定性量化这些方法。
2020-06-09 stat.ME stat.ML
The Condition-Number Principle for Prototype Clustering
Department of Economics, Duke University（杜克大学经济系）；Department of Economics, Northeastern University（东北大学经济系）
本文提出一个几何框架，将目标准确性与结构恢复联系起来，定义了聚类条件数，并揭示了鲁棒性与聚类不平衡之间的根本权衡，提供了可靠的聚类结构解释。
2026-04-09 cs.LG econ.EM math.ST
Probabilistic Fair Clustering
University of Maryland, College Park（马里兰大学帕克分校）
本文研究群体成员身份仅以概率形式已知时的公平聚类，提出带近似比保证的算法，并处理具有顺序与距离结构的度量成员身份问题。
2023-06-02 cs.AI cs.DS cs.LG
Probabilistic Clustering Using Maximal Matrix Norm Couplings
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了一个局部信息理论的方法来明确学习离散随机变量的概率聚类。我们的公式产生一个凸最大化问题，它是NP-难找到全局最优。为了在算法上解决这个优化问题，我们提出了两个松弛，通过梯度上升和交替最大化来解决。在MSR句子补全挑战、MovieLens 100 K和Reuters 21578数据集上的实验表明，该方法与现有技术相比具有竞争力，值得进一步研究。
2018-10-10 cs.IT cs.LG math.IT
A Probabilistic framework for Quantum Clustering
Liverpool John Moores University（利物浦约翰摩尔斯大学）；Universitat de València（瓦伦西亚大学）
量子聚类是一种在混合密度数据中检测簇的有效方法。然而，它对薛定谔方程固有的长度参数非常敏感。此外，将数据点链接到聚类中需要对协方差进行局部估计，这也是由长度参数控制的。这就提出了如何调整薛定谔方程的控制参数以实现最佳聚类的问题。我们提出了一个概率框架，提供了一个目标函数的拟合优度的数据，使控制参数进行优化的贝叶斯框架内。这自然会产生集群成员和数据分区与特定数量的集群的概率。所提出的框架进行了测试，真实的和合成的数据集，通过测量与已知的数据结构的一致性评估其有效性的Jaccard得分（JS）。这项工作还提出了一种客观的方法来衡量无监督学习的性能，与JS非常相关。
2019-02-14 cs.LG stat.ML
Exploratory Analysis of Functional Data via Clustering and Optimal Segmentation
Télécom ParisTech（巴黎电信学院）；CNRS（法国国家科学研究中心）；Université Paris Dauphine（巴黎多芬大学）；INRIA（法国国家信息与自动化研究所）
本文提出了一种函数型数据的探索性分析算法。该方法将一组函数划分为$K$簇，并通过简单原型（例如，分段常数）。原型中的段的总数$P$由用户选择，并通过两个动态规划算法在集群之间进行最佳分配。在两个真实世界的数据集上显示了该方法的实际相关性。
2010-04-03 cs.LG stat.ML
Clustering With Side Information: From a Probabilistic Model to a Deterministic Algorithm
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
在本文中，我们提出了一种基于模型的聚类方法（TVClust），鲁棒地将噪声边信息作为软约束，旨在寻求边信息和观测数据之间的共识。我们的方法是基于一个非参数贝叶斯分层模型，该模型结合了数据实例的概率模型和边信息的概率模型。提出了一种有效的吉布斯抽样后验推理算法。使用我们的概率模型的小方差渐近性，然后，我们推导出一个新的确定性聚类算法（RDP-means）。它可以被视为K均值的扩展，允许包含边信息，并具有不需要先验指定聚类数的附加属性。已经进行了实证研究，比较我们的工作与许多约束聚类算法的文献上的各种数据集和各种条件下，如使用嘈杂的边信息和错误的k值。我们的实验结果表明，在这些条件下，我们的概率和确定性的方法相比，在文献中的其他算法强有力的结果。
2015-10-31 cs.AI cs.LG stat.CO
Effects of Additional Data on Bayesian Clustering
分层概率模型，如混合模型，用于聚类分析。这些模型有两种类型的变量：可观察的和潜在的。在聚类分析中，估计潜在变量，并且期望附加信息将提高潜在变量估计的准确性。许多提出的学习方法都能够使用额外的数据，包括半监督学习和迁移学习。然而，从统计学的角度来看，包含初始数据和附加数据的复杂概率模型可能由于具有更高维的参数而不太准确。本文提出了一种理论分析，这样一个模型的准确性，并澄清了哪些因素对其准确性的影响最大，获得额外的数据的优点，增加的复杂性和缺点。
2017-06-23 stat.ML
Random Normed k-Means: A Paradigm-Shift in Clustering within Probabilistic Metric Spaces
Higher normal school（高等师范学校）；National Higher School for Computer Science and Systems Analysis（国家计算机科学与系统分析高等学院）；Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
本文提出首个在概率度量空间中运行的k-means变体RNKM，用距离分布函数替代传统距离度量，在多种数据集上验证其优于k-means++、fuzzy c-means等方法的聚类性能，尤其擅长识别非线性可分结构。
2025-04-04 cs.LG math.PR stat.ML
A Probabilistic $\ell_1$ Method for Clustering High Dimensional Data
Princeton University（普林斯顿大学）；Rutgers University（罗格斯大学）
一般来说，聚类问题是NP难的，并且对于非平凡的实例不能建立全局最优性。对于高维数据，基于距离的聚类或分类方法面临着额外的困难，即在非常高维的空间中距离的不可靠性。我们提出了一个基于距离的迭代法聚类数据在非常高维的空间，使用$\ell_1$度量，是不太敏感的高维比欧几里德距离。对于$\mathbb{R}^n$中的$K$簇，问题分解为通过概率耦合的$K$问题，并且迭代简化为寻找线上的点的$Kn$加权中值。该算法的复杂度与数据空间的维数成线性关系，并且随着维数的增加，其性能有明显的提高。
2016-04-22 cs.LG math.OC math.ST
Learning Generative Models of Similarity Matrices
University of Toronto（多伦多大学）
我们描述了一个概率（生成）视图的亲和矩阵以及推理算法与数据聚类相关的问题的一个子类。这种概率视图有助于理解基于数据的亲和函数的不同模型和算法。特别地，我们展示了一个特定概率模型的（贪婪）推理是如何等价于谱聚类算法的，它也为开发新的算法和扩展模型提供了一个框架。作为一种情况下，我们提出了新的生成数据聚类模型，使我们能够推断出适合手头的聚类问题的基本距离度量。这些模型似乎在更大的一类问题中表现良好，而其他聚类算法（包括谱聚类）通常会失败。在多个点数据集上进行了实验评估，表现出良好的性能。
2012-10-19 cs.LG stat.ML
Probabilistic Sparse Subspace Clustering Using Delayed Association
University of Central Florida（中佛罗里达大学）
发现和聚类高维数据中的子空间是机器学习的一个基本问题，在数据挖掘、计算机视觉和模式识别中有着广泛的应用。早期的方法将问题分为两个独立的阶段，即找到相似性矩阵和找到聚类。类似于最近的一些作品，我们整合这两个步骤使用联合优化方法。我们做出了以下贡献：（i）在将点分配给子空间之前，我们估计每个点的集群分配的可靠性。我们将数据点分为两组“确定”和“不确定”，后一组的分配延迟，直到他们的子空间关联确定性提高。(ii)我们证明了延迟关联更适合于聚类具有模糊性的子空间，即当子空间相交或数据被离群值/噪声污染时。(iii)我们的实验表明，这种延迟的概率关联导致更准确的自我表示和最终的集群。所提出的方法具有较高的精度都只位于一个子空间的点，和那些在子空间的交集。(iv)我们表明，延迟关联导致计算成本的巨大减少，因为它允许增量谱聚类。
2018-08-28 cs.CV cs.LG stat.ML
Triplet Probabilistic Embedding for Face Verification and Clustering
University of Maryland（马里兰大学）
尽管在过去的二十五年中取得了重大进展，无约束的人脸验证仍然是一个具有挑战性的问题。本文提出了一种方法，将基于深度CNN的方法与使用三重概率约束学习的低维判别嵌入相结合，以解决无约束人脸验证问题。除了产生性能改进之外，这种嵌入在内存和后处理操作（如特定于主题的聚类）方面提供了显着的优势。在具有挑战性的IJB-A数据集上的实验表明，该算法在验证和识别指标方面优于现有方法，同时需要更少的训练数据和训练时间。所提出的方法在CFP数据集上的优异性能表明，我们的深度CNN学习的表示对极端姿势变化具有鲁棒性。此外，我们通过在IJB-A和LFW数据集上进行简单的聚类实验，证明了深度特征对年龄，姿势，模糊和杂乱等挑战的鲁棒性。
2017-01-18 cs.CV cs.LG stat.ML
Temporal Multinomial Mixture for Instance-Oriented Evolutionary Clustering
Korea Institute of Science and Technology Information（韩国科学技术信息研究院）；University of Lyon 2（里昂第二大学）
演化聚类的目的是捕捉集群的时间演化。这个问题在自然时间驱动的社交媒体数据的背景下尤为重要。在本文中，我们提出了一种新的基于概率模型的进化聚类技术。时间多项混合模型（TMM）是经典混合模型的扩展，它在时间平滑性的权衡下优化特征同现。我们的模型进行了评估，最近的两个案例研究意见聚合随着时间的推移。我们比较了四种不同的概率聚类模型，我们的建议在面向实例的聚类任务的优越性。
2016-01-11 cs.IR cs.LG stat.ML
clusterBMA: Bayesian model averaging for clustering
在集成聚类文献中，已经开发了各种方法来组合跨多组结果的推理以进行无监督聚类。从几个备选聚类模型中选出一个“最佳”模型报告结果的做法通常忽略了模型选择产生的不确定性，并导致对特定模型和所选参数敏感的推论。贝叶斯模型平均（BMA）是一种流行的方法，用于组合多个模型的结果，在这种情况下提供了一些有吸引力的好处，包括组合聚类结构的概率解释和基于模型的不确定性的量化。在这项工作中，我们介绍了clusterBMA，一种方法，使加权模型平均从多个无监督聚类算法的结果。我们使用聚类内部验证标准来开发后验模型概率的近似值，用于对每个模型的结果进行加权。从一个共识矩阵表示的加权平均值的聚类解决方案的模型，我们应用对称单纯形矩阵分解计算最终的概率集群分配。除了在模拟数据上优于其他集成聚类方法外，clusterBMA还提供了独特的功能，包括对平均聚类的概率分配，结合“硬”和“软”聚类算法的分配概率，以及测量平均聚类分配中基于模型的不确定性。此方法在附带的同名R包中实现。
2023-03-26 stat.AP stat.ME stat.ML
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology（浦项科技大学）
贝叶斯层次聚类（Bayesian hierarchical clustering，BHC）是一种凝聚聚类方法，它定义了一个概率模型，并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势，传统的基于距离的凝聚聚类算法，连续的边缘似然评估和仔细的超参数调整是繁琐的，限制了可扩展性。在本文中，我们放松BHC到一个非概率制定，探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法，被称为放松BHC（RBHC），从BHC模型的渐近极限，表现出基于距离的凝聚聚类算法的可扩展性，以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少，使我们能够使用可扩展的算法，如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
Entropy regularization in probabilistic clustering
Bocconi University（博科尼大学）；University of Turin（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）
本文提出了一种基于熵正则化的贝叶斯估计器，用于解决概率聚类中因稀疏聚类导致的可解释性问题。
2023-07-19 stat.CO stat.ME stat.ML
Skeleton Clustering: Dimension-Free Density-based Clustering
University of Washington（华盛顿大学）
我们介绍了一种基于密度的聚类方法，称为骨架聚类，可以检测多变量，甚至高维数据的不规则形状的集群。为了绕过维数灾难，我们提出了替代密度的措施，是不太依赖于尺寸，但有直观的几何解释。作为中间步骤，聚类框架构建了给定数据的简洁表示，可以认为是原型方法，基于密度的聚类和层次聚类的组合。我们通过理论分析和实证研究表明，骨架聚类导致可靠的集群在多元和高维的场景。
2023-01-18 cs.LG stat.ME stat.ML
Probabilistic partition of unity networks: clustering based deep approximation
Center for Computing Research（计算研究中心）；Sandia National Laboratories（桑迪亚国家实验室）；Electrical Models and Simulation（电气模型与仿真部门）；Quantitative Modeling and Analysis（定量建模与分析部门）
单位网络的划分（POU-Nets）已被证明能够实现回归和偏微分方程解的代数收敛率，但需要经验调整训练参数。我们丰富的POU网与高斯噪声模型，以获得一个概率泛化服从基于梯度的最大似然损失的最小化。由此产生的架构提供了无噪声和噪声数据的空间表示为高斯混合物与封闭形式的方差表达式，它提供了一个估计的局部误差。训练过程基于函数值的相关性产生对输入空间的非常清晰的划分。这种训练点的分类适用于分层细化策略，该策略显着改善了回归的局部化，允许使用高阶多项式近似。与高斯过程回归相比，该框架更有利于扩展到大数据集，并允许空间变化的不确定性，利用深度神经网络的表达能力，同时绕过与其他概率深度学习方法相关的昂贵训练。与标准的深度神经网络相比，该框架在不使用正则化器来调整分区局部化的情况下证明了hp收敛。我们提供的基准量化性能在高/低维，表明收敛速度只取决于高维空间内的数据的潜在维度。最后，我们引入了一个新的开放源数据集的半导体器件的基于偏微分方程的模拟和执行无监督提取的物理可解释的降阶基础。
2021-07-07 cs.LG stat.ML
The Bayesian Case Model: A Generative Approach for Case-Based Reasoning and Prototype Classification
Massachusetts Institute of Technology（麻省理工学院）
我们提出了贝叶斯案例模型（Bayesian Case Model，简称CBR），它是贝叶斯案例推理（Bayesian Case-Based Reasoning，简称CBR）和原型分类与聚类的一个通用框架。它将CBR的直观力量引入贝叶斯生成框架。通过对聚类标签、原型和重要特征进行联合推理，该算法学习原型，即最能代表数据集中聚类的“精华”观察。与此同时，ESTA通过学习子空间来追求稀疏性，子空间是在原型表征中起重要作用的特征集。原型和子空间表示在保持分类准确性的同时在可解释性方面提供了定量优势。人类受试者实验证实，与现有技术给出的解释相比，当使用由ESTA产生的解释时，参与者的理解在统计学上显著改善。
2015-03-03 cs.LG stat.ML
Robust Clustering Using Outlier-Sparsity Regularization
University of Minnesota（明尼苏达大学）
尽管传统的聚类算法，如K-means和概率聚类的流行，他们的聚类结果是敏感的离群数据的存在。即使是一些离群值也会损害这些算法识别有意义的隐藏结构的能力，从而使其结果不可靠。本文提出了鲁棒的聚类算法，不仅旨在聚类的数据，但也确定离群值。新的方法依赖于罕见的离群值在数据中的存在，这转化为稀疏在一个明智的选择域。利用孤立点域的稀疏性，提出了孤立点感知的鲁棒K均值和概率聚类方法。他们的新颖之处在于识别离群值，同时通过精心选择的正则化在离群值域中实现稀疏性。一个块坐标下降的方法来获得迭代算法的收敛性保证和小的额外的计算复杂性相对于他们的非鲁棒同行。还开发了鲁棒聚类算法的内核化版本，以有效地处理高维数据，识别非线性可分离的聚类，甚至是未用向量表示的聚类对象。在人工和真实数据集上的数值试验验证了新算法的性能和适用性。
2011-04-22 cs.LG stat.ML
Hierarchical clustering with maximum density paths and mixture models
Institute of Computer Science and Campus Institute Data Science, University of Göttingen（计算机科学研究所和校园数据科学研究所，哥廷根大学）；Max Planck Institute for Dynamics and Self-Organization（动态与自组织Max Planck研究所）
针对现有层次聚类在高维、无清晰密度间隙数据上的不足，提出基于概率的t-NEB方法，通过过聚类密度估计、最大密度路径查找和自底向上合并三步实现最优性能与有意义层次，助力探索性数据分析。
2025-05-21 cs.LG stat.ML
Distributional Clustering: A distribution-preserving clustering method
Georgia Institute of Technology（佐治亚理工学院）；Duke University（杜克大学）
k-means聚类的一个关键用途是识别可以作为数据集代表点的聚类原型。然而，使用k-means聚类中心作为代表点的缺点是这样的点扭曲了底层数据的分布。这在随后使用代表点来获得对数据分布的洞察的问题中可能是非常不利的，因为这些点不模仿数据的分布。为此，我们提出了一种新的聚类方法，称为“分布式聚类”，它确保聚类中心捕获底层数据的分布。我们首先证明了所提出的聚类中心的数据生成分布的渐近收敛性，然后提出了一个有效的算法来计算这些聚类中心在实践中。最后，我们证明了分布式聚类的有效性合成和真实的数据集。
2019-11-14 cs.LG stat.ML
A Bayesian Method for Joint Clustering of Vectorial Data and Network Data
Emory University（埃默里大学）；The Chinese University of Hong Kong（香港中文大学）
我们提出了一种新的基于模型的综合方法，用于聚类对象给定的矢量数据，它描述了每个对象的特征，和网络数据，它表明连接的对象的相似性。所提出的通用模型能够在一个综合概率模型中同时聚类两种类型的数据，而传统方法只能处理一种数据类型或依赖于将一种数据类型转换为另一种数据类型。基于马尔可夫链蒙特卡罗算法进行聚类的贝叶斯推断。结合高斯混合模型和随机块模型的一般模型的一个特殊情况进行了广泛的研究。我们使用合成数据和真实数据来评估这种新方法，并将其与其他方法进行比较。结果表明，我们的同时聚类方法表现得更好。这种改进是由于基于模型的概率方法有效地整合信息的力量。
2017-10-24 cs.LG stat.CO stat.ML
Benchmarking Minimax Linkage
Carnegie Mellon University（卡内基梅隆大学）
最小最大连锁最早由Ao等人于2004年引入[3]，作为分层聚类中使用的标准连锁方法的替代方法。极大极小连接依赖于每个聚类到原型的距离;这个原型可以被认为是聚类中的代表对象，从而提高聚类结果的可解释性。Bien和Tibshirani在2011年分析了这种方法的特性[2]，在统计界推广了这种方法。此外，他们利用五个数据集和两个不同的评估指标（与原型的距离和错误分类率），将极大极小关联与标准关联方法进行了比较。为了扩展他们的工作并更全面地评估极大极小链接，我们的基准研究侧重于通过几个良好描述的数据集上的多个性能指标进行彻底的方法评估。我们还通过R包公开所有代码和数据，以实现完全可重复性。与[2]类似，我们发现极大极小链接通常会产生所有链接方法中最小的极大极小半径，这意味着极大极小链接会产生集群，其中集群中的对象紧密聚集在其原型周围。这在聚类总数（k）的值的范围内是真实的。然而，情况并非总是如此，应特别注意k是真实已知值的情况。对于真正的k，极大极小链接并不总是执行最好的所有评估指标的研究，包括最大极大极小半径。本文件是由化安论坛集群基准制定工作组呼吁开展集群基准研究和白皮书[5]提出的，该白皮书提出了集群综合基准制定的指导方针和原则。我们的工作旨在成为一个中立的基准研究极小极大联动。
2019-06-07 cs.LG stat.ME stat.ML
Amortized Probabilistic Detection of Communities in Graphs
Google（谷歌）；Stanford University（斯坦福大学）；University of the Witwatersrand（金山大学（威特沃特斯兰德大学））；KAIST（韩国科学技术院）；Oxford University（牛津大学）；DeepMind（深度思维）；Culumbia University（哥伦比亚大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出结合GNN与摊销聚类的社区检测框架，无需预知社区数量并能量化不确定性，通过注意力模块进一步提升了检测性能。
2024-08-02 cs.LG stat.ML
Amortized Bayesian inference for clustering models
Columbia University（哥伦比亚大学）
我们开发了有效的摊销近似贝叶斯推断的概率聚类模型，如狄利克雷过程混合模型的后验分布的方法。该方法是基于映射到条件概率的集群安排的分布式，不变性表示。该方法易于并行化，从聚类分配的近似后验中产生iid样本，具有与单个Gibbs采样器扫描相同的计算成本，并且可以容易地应用于共轭和非共轭模型，因为训练仅需要来自生成模型的样本。
2018-11-24 cs.LG stat.CO stat.ML
