Compressive Spectral Clustering
INRIA Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Technicolor（汤姆逊集团）
谱聚类由于其在许多情况下的高性能而成为一种流行的技术。它包括三个主要步骤：创建N个对象之间的相似性图进行聚类，计算其拉普拉斯矩阵的前k个特征向量以定义每个对象的特征向量，并对这些特征运行k-均值以将对象分成k个类。对于大的N和/或k，这三个步骤中的每一个都变得计算密集。我们建议加快最后两个步骤的基础上，在新兴领域的图形信号处理：图形过滤的随机信号，和随机采样的带限图形信号。我们证明，我们的方法，在计算时间的增益，可以达到几个数量级，实际上是一个近似的谱聚类，我们能够控制的错误。我们测试我们的方法在人工和真实世界的网络数据的性能。
2016-05-23 cs.DS cs.LG stat.ML
Clustering subgaussian mixtures by semidefinite programming
Air Force Institute of Technology（空军理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一个无模型的松弛和轮算法的k-均值聚类的基础上半定松弛由于彭和魏。该算法将SDP输出解释为原始数据的去噪版本，然后将此输出舍入为硬聚类。我们提供了一个通用的方法来证明该算法的性能保证，我们分析了该算法的背景下，亚高斯混合模型。我们还研究了估计高斯中心的基本限制，以比较我们的近似保证理论上最优的k-均值聚类解决方案。
2016-05-10 cs.DS cs.IT cs.LG
Optimal interval clustering: Application to Bregman clustering and statistical mixture learning
Université des Antilles-Guyane（安的列斯-圭亚那大学）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）；NICTA（澳大利亚国家信息与通信技术研究院）
我们提出了一个通用的动态规划方法来计算$n$标量元素到$k$成对不相交区间的最佳聚类。这种情况下，包括一维欧几里德$k$ -手段，$k$ -medoids，$k$ -中位数，$k$ -中心等，我们扩展的方法，将集群大小的限制，并显示如何选择合适的$k$模型选择。最后，我们在两个案例研究中说明和改进了该方法：Bregman聚类和统计混合学习最大化完整的可能性。
2014-05-26 cs.IT cs.LG math.IT
An Extended Multi-Model Regression Approach for Compressive Strength Prediction and Optimization of a Concrete Mixture
Azad University, Central Tehran Branch (IAUCTB)（阿扎德大学中央德黑兰分校）；RWTH Aachen University（亚琛工业大学）
由于与实验测试相关的显著延迟和成本，基于模型的混凝土抗压强度评估对于强度预测以及混合物优化都具有很高的价值。在这方面，最近的几项研究采用了最先进的回归模型，以实现一个良好的预测模型，采用现有的实验数据集。然而，尽管每个所采用的模型可以更好地适应输入数据的特定性质，但是由于对超参数的选择和学习策略的敏感性，每个单独模型的准确性是有限的。在目前的工作中，我们采取进一步的措施，通过加权组合的多元回归方法，提高预测模型的准确性。此外，（GA）为基础的多目标混合优化，提出了所获得的多元回归模型的基础上。特别是，我们提出了一个数据辅助的框架，人工神经网络，随机森林回归和多项式回归的基础上的回归方法联合实施预测混凝土的抗压强度。然后通过线性加权策略组合各个回归模型的结果，并在训练数据集上优化为二次凸优化问题。值得一提的是，由于制定的问题的凸性，全局最优加权策略，通过标准的数值求解器。采用建议的基于遗传算法的优化，帕累托前沿的成本CS贸易已获得采用可用的数据集。此外，所得到的准确性所提出的多模型预测方法被证明优于文献中的单模型回归方法的一个有价值的利润率，通过数值模拟。
2021-06-13 cs.LG
Advancing Local Clustering on Graphs via Compressive Sensing: Semi-supervised and Unsupervised Methods
School of Mathematics, Georgia Institute of Technology（数学系，佐治亚理工学院）
提出基于压缩感知的半监督和无监督局部聚类方法，通过随机采样、扩散和重叠分析实现稀疏解，并证明其正确性，在低标签率下达到最优性能。
2026-05-30 cs.LG stat.ML
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题，我们建立一般条件下，家庭的非参数混合模型是可识别的，通过引入一个新的框架，涉及聚类过拟合\emph{parametric}（即误指定）混合模型。这些可识别性条件概括了文献中的现有条件，并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合，我们允许一般的非参数混合成分，而不是施加规律性假设的基础混合措施。作为我们的主要应用程序，我们将这些结果应用到基于分区的聚类，将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外，这个框架是建设性的，使它产生一个实用的算法学习识别的混合物，这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的，度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架，非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
Sketch and shift: a robust decoder for compressive clustering
Univ Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；UCBL（里昂第一大学）；LIP UMR 5668（里昂高等师范学院计算机实验室（UMR 5668））
针对压缩聚类中 CL-OMPR 难调参且鲁棒性不足的问题，本文分析其相关函数优化缺陷，并提出受 mean shift 启发的 Sketch and shift 解码器，在草图缩小10倍时仍可提取 MNIST 聚类信息。
2024-06-17 cs.LG stat.ML
Optimality of Spectral Clustering in the Gaussian Mixture Model
ETH Zürich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
谱聚类是对高维数据进行聚类的一种常用算法。它易于实现，计算效率高。尽管它的流行和成功的应用，它的理论特性还没有得到充分的理解。本文证明了在协协方差阵为各向同性的高斯混合模型中，当聚类数固定且信噪比足够大时，谱聚类是极小极大最优的.谱间隔条件在文献中被广泛假设来分析谱聚类。相反，这些条件是不需要建立本文的谱聚类的最优性。
2020-08-05 cs.LG math.SP math.ST
Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Bilkent University（比尔肯特大学）
本文针对次指数混合模型，提出基于Chernoff散度的通用聚类误差下界，证明迭代算法可达最优速率，并验证Bregman硬聚类在指数族混合模型中的速率最优性。
2024-07-17 cs.LG math.ST stat.ML
Clustering Mixtures of Bounded Covariance Distributions Under Optimal Separation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
该研究针对有界协方差分布混合模型的聚类问题，提出近似均匀混合下的首个多项式时间算法，引入聚类细化概念解决一般权重混合的信息论不可行问题，且算法对对抗性离群点具有鲁棒性。
2023-12-19 cs.DS cs.IT cs.LG
Reliable Clustering of Bernoulli Mixture Models
Sharif University of Technology（谢里夫理工大学）
伯努利混合模型（Bernoulli Mixture Model，BMM）是具有独立维度的随机二进制向量的有限混合。聚类BMM数据的问题出现在各种现实世界的应用中，从群体遗传学到社交网络中的活动分析。在本文中，我们从理论的角度分析了集群的可集群性，当集群的数量是未知的。特别是，我们对模型的样本复杂度和维度规定了一组条件，以保证数据集的可能近似正确（PAC）可集群性。据我们所知，这些研究结果是第一个非渐近界的学习或聚类样本的复杂性。
2019-06-16 cs.IT cs.LG math.IT
Time Series Clustering with an EM algorithm for Mixtures of Linear Gaussian State Space Models
Shiga University（滋贺大学）；Osaka Gas Co., Ltd.（大阪燃气株式会社）
在本文中，我们考虑的任务是聚类一组单独的时间序列，而每个集群建模，即基于模型的时间序列聚类。这项任务需要一个参数模型，具有足够的灵活性，以描述各种时间序列的动态。为了解决这个问题，我们提出了一种新的基于模型的时间序列聚类方法与线性高斯状态空间模型的混合物，具有很高的灵活性。该方法采用一种新的混合模型期望最大化算法估计模型参数，并利用贝叶斯信息准则确定聚类数。在模拟数据集上的实验证明了该方法在聚类、参数估计和模型选择等方面的有效性。该方法适用于真实数据集通常用于评估时间序列聚类方法。结果表明，所提出的方法产生的聚类结果是准确或更准确的比使用以前的方法。
2023-02-22 cs.CV cs.LG math.ST
Clustering a Mixture of Gaussians with Unknown Covariance
Cornell University（康奈尔大学）；California Institute of Technology（加州理工学院）；Columbia University（哥伦比亚大学）
我们研究了一个聚类问题，数据来自一个共同的高斯混合，但未知的，潜在的病态，协方差阵。我们首先考虑高斯混合两个相等大小的组件，并推导出一个最大割整数规划的基础上极大似然估计。我们证明了它的解决方案达到最佳的误分类率时，样本的数量线性增长的维度，对数因子。然而，解决最大割问题似乎是计算上棘手的。为了克服这一点，我们开发了一个有效的频谱算法，达到最佳的速率，但需要二次样本量。虽然这个样本的复杂性比最大割问题，我们猜想，没有多项式时间的方法可以执行更好。此外，我们收集的数值和理论证据，支持存在的计算差距。最后，我们推广的最大切割程序的$k$ -手段程序，处理多组分混合物可能不平等的权重。对于满足运输成本不等式的混合分布，它享有类似的最优性保证，包括高斯分布和强对数凹分布。
2021-11-29 cs.IT cs.LG math.IT
Optimal Clustering in Anisotropic Gaussian Mixture Models
University of Washington（华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了各向异性高斯混合模型下的聚类问题，其中来自不同聚类的协方差阵是未知的，并且不一定是相同的矩阵。我们刻画了信噪比对聚类中心和协方差阵的依赖性，并得到了聚类问题的极大极小下界。此外，我们提出了一个计算上可行的程序，并证明它达到了最佳的速度在几个迭代。所提出的方法是一种硬EM型算法，它也可以被看作是劳埃德算法的一个变体，该算法被调整到各向异性的协方差阵。
2021-01-18 cs.LG math.ST stat.ML
The Informativeness of K -Means for Learning Mixture Models
National University of Singapore（新加坡国立大学）
混合模型的学习可以看作是一个聚类问题。事实上，给定从混合分布独立生成的数据样本，我们通常希望根据它们从哪个分量分布生成来找到样本的{ \it正确目标聚类}。对于聚类问题，从业者通常选择使用简单的$k$均值算法。$k$ -表示尝试找到{ \it最佳聚类}，以最小化每个点与其聚类中心之间的平方和距离。在本文中，我们考虑基本的（即，通过优化平方和距离获得的解决方案（聚类）的信息论）限制。特别是，我们提供了充分的条件，任何最佳的聚类和正确的目标聚类假设的数据样本是从混合球高斯分布生成的接近。我们也将我们的结果推广到对数凹分布。此外，我们还表明，在混合模型上类似甚至更弱的条件下，降维样本的任何最佳聚类也接近正确的目标聚类。这些结果提供了直观的信息$k$ -手段（有和没有降维）作为学习混合模型的算法。
2022-08-25 cs.IT cs.LG math.IT
A Comparison of Clustering and Missing Data Methods for Health Sciences
Institute of Mathematical Sciences（数学科学研究所）；Claremont Graduate University（克莱蒙特研究生大学）；Department of Mathematics（数学系）；Computer Science（计算机科学）；Claremont McKenna College（克莱蒙特麦肯纳学院）；School of Community（社区学院）；Global Health（全球健康学院）
本文比较了健康行为研究中聚类与缺失数据方法，提出结合压缩感知矩阵补全与谱聚类，实验证明其在聚类和缺失数据处理中表现更优。
2014-04-22 cs.LG cs.NA math.NA
Compressive K-means
INRIA Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）；CNRS, GIPSA-lab（法国国家科学研究中心，GIPSA实验室）
K-max算法是一种经典的K均值聚类算法。不幸的是，随着训练数据集的增长，其成本变得过高。我们提出了一个压缩版本的K-means（CKM），它从草图中估计聚类中心，即从训练数据集的大幅压缩表示中估计聚类中心。我们的经验表明，CKM执行类似的candid-Max，草图大小成比例的质心的数量乘以环境尺寸，并独立于原始数据集的大小。给定草图，CKM的计算复杂性也与数据集的大小无关。与需要多次重复的CKM不同，我们进一步证明了CKM对初始化几乎不敏感。对于一个包含10^7个数据点的大型数据集，我们证明了CKM的运行速度比5个重复的CMD-Max快两个数量级，并且在人工数据上具有类似的聚类性能。最后，CKM实现了较低的分类错误的手写数字分类。
2017-02-10 cs.LG stat.ML
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文研究了多层网络及离散混合分布的最优聚类问题，提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法，实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
ALMA: Alternating Minimization Algorithm for Clustering Mixture Multilayer Network
University of Central Florida（中佛罗里达大学）
本文考虑了一种混合多层随机块模型（MMLSBM），该模型将多层网络划分为多个相似的网络组，每个网络组中的网络具有不同的随机块模型。目标是将多层网络划分为相似层的集群，并识别这些层中的社区。Jing等人（2020）介绍了MMLSBM，并开发了一种基于正则化张量分解的聚类方法TWIST。本论文提出了一种不同的技术，交替最小化算法（ALMA），其目的是在同时恢复的层分区，连同不同层的连接概率的矩阵的估计。与TWIST相比，ALMA在理论和数值上都具有更高的精度。
2021-10-13 cs.LG math.ST stat.ML
Deep Clustering Based on a Mixture of Autoencoders
Bar-Ilan University（巴伊兰大学）
在本文中，我们提出了一种基于深度自动编码器混合的深度自动编码器混合聚类（DAMIC）算法，其中每个聚类由一个自动编码器表示。聚类网络将数据转换到另一个空间，然后选择其中一个聚类。接下来，使用与该聚类相关联的自动编码器来重建数据点。聚类算法联合学习非线性数据表示和自编码器集合。通过最小化混合自编码器网络的重构损失来寻找最优聚类。与其他深度聚类算法不同，不需要正则化项来避免数据崩溃到单个点。我们对图像和文本语料库的实验评估表明，国家的最先进的方法显着改善。
2019-03-27 cs.AI cs.LG stat.ML
Sketching for Large-Scale Learning of Mixture Models
Université Rennes 1（雷恩第一大学）；INRIA Rennes-Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）；Gipsa-Lab（格勒诺布尔图像、语音、信号与自动控制实验室）；Technicolor（特艺集团）
从大量数据中学习参数在存储器和计算要求方面可能是禁止的。我们提出了一个“压缩学习”的框架，我们估计模型参数的草图的训练数据。该草图是数据的潜在概率分布的广义矩的集合。它可以在训练集上一次性计算，并且可以在流或分布式数据集上轻松计算。所提出的框架与压缩感知有相似之处，压缩感知的目的是大幅降低高维信号的维数，同时保留重建它们的能力。为了执行估计任务，我们推导出一个迭代算法类似于稀疏重建算法的线性逆问题的背景下。我们用高斯混合模型（GMM）的压缩估计来描述我们的框架，为草图绘制过程的选择和重建的理论保证提供了理论依据。我们的实验表明，合成数据，该算法产生的结果相比，经典的期望最大化（EM）技术，同时需要显着更少的内存和更少的计算时，数据库元素的数量是大的。我们进一步证明了真正的大规模数据（超过10 - 8个训练样本）的任务，基于模型的说话人验证的方法的潜力。最后，我们得出了一些建议的框架和近似希尔伯特空间嵌入的概率分布使用随机特征之间的联系。我们表明，建议的草图操作符可以被看作是一种创新的方法来设计适应分析的Gestival不变的内核。我们还使用这个理论框架来获得信息保存保证，在无限维压缩感知的精神。
2017-05-05 cs.LG stat.ML
Copula Mixture Model for Dependency-seeking Clustering
University of Basel（巴塞尔大学）
我们引入了一个Copula混合模型，以执行依赖性寻求聚类时，从不同的数据源共现的样本。该模型利用Copula框架提供的巨大灵活性，将典型相关分析的混合物扩展到具有任意连续边缘密度的多变量数据。我们制定我们的模型作为一个非参数贝叶斯混合，同时提供有效的MCMC推理。对合成数据和真实数据的实验表明，Copula混合函数的灵活性大大提高了聚类结果的可解释性。
2012-06-27 cs.LG stat.ME stat.ML
A Compressive Sensing Approach to Community Detection with Applications
University of Georgia（佐治亚大学）
图的社区发现问题要求将图G的n个顶点V划分为k个社区或簇，使得有许多簇内边和很少簇间边。当然，这等价于找到置换矩阵P，使得如果A表示G的邻接矩阵，则PAP^T近似为块对角。由于有k^n个可能的划分n个顶点到k个子集，直接确定最佳聚类显然是不可行的。相反，人们试图解决一个更容易处理的近似聚类问题。在本文中，我们重新制定的社区发现问题，通过稀疏解决方案的线性系统相关联的Laplacian图G，然后开发了一个两阶段的方法的基础上阈值技术和压缩感知算法，以找到一个稀疏的解决方案，对应于社区包含一个感兴趣的顶点G。最重要的是，我们的方法导致一个算法，它能够找到一个单一的集群大小为n_0在O（nlog（n）n_0）的操作和所有k个集群在少于O（n^2ln（n））的操作。这是对经典谱聚类算法的显著改进，经典谱聚类算法无法一次找到一个聚类，并且需要大约O（n^3）的操作来找到所有k个聚类。此外，我们能够提供强大的保证成功的情况下，G是随机从随机块模型，一个流行的模型图与集群。还提供了大量的数值结果，显示了我们的算法在合成和真实世界的数据集的有效性。
2018-08-20 cs.IT cs.LG math.IT
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st（哈桑一世大学）；University of Abdelmalek Essaâdi（阿卜杜勒马利克·埃萨迪大学）
混合模型已被广泛用于聚类中，由于其概率框架，其基础，然而，对于现代数据库，其特点是其规模大，这些模型的行为dispromisingly在设置模型，使必要的相关变量的选择，这种类型的聚类。在回顾了基于模型的聚类的基础知识之后，本文将研究基于模型的聚类的变量选择方法，并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Clustering of check-in sequences using the mixture Markov chain process
National Research University Higher School of Economics（国立研究型高等经济学院）
这项工作是专门从地理社会网络的登记序列的聚类。我们使用混合马尔可夫链过程作为时间依赖型数据的数学模型。对于聚类，我们调整了期望最大化（EM）算法。因此，我们获得了现已不复存在的地理社交网络Weeplaces的用户的高度详细的社区（集群）。
2021-06-16 cs.CY cs.LG cs.SI
Mixture Complexity and Its Application to Gradual Clustering Change Detection
The University of Tokyo（东京大学）
在使用有限混合模型的基于模型的聚类中，确定聚类的数量（聚类大小）是一个重大挑战。它曾经等于混合物成分的数量（混合物规模）;然而，在存在重叠或权重偏差的情况下，这可能无效。在这项研究中，我们提出了一个新的概念，称为混合物复杂性（MC）连续测量的集群大小的混合模型。它是从信息论的角度正式定义的，可以看作是一个自然的集群规模考虑重叠和权重偏差的扩展。随后，我们应用MC逐步聚类变化检测的问题。传统上，聚类变化被认为是突然的，由混合物大小或聚类大小的变化引起。同时，我们认为集群的变化是渐进的MC，它的好处是发现的变化更早，区分显着和不显着的变化。我们进一步证明了MC可以根据混合模型的层次结构进行分解，这有助于我们分析子结构的细节。
2020-07-15 cs.LG stat.ML
Temporal Multinomial Mixture for Instance-Oriented Evolutionary Clustering
Korea Institute of Science and Technology Information（韩国科学技术信息研究院）；University of Lyon 2（里昂第二大学）
演化聚类的目的是捕捉集群的时间演化。这个问题在自然时间驱动的社交媒体数据的背景下尤为重要。在本文中，我们提出了一种新的基于概率模型的进化聚类技术。时间多项混合模型（TMM）是经典混合模型的扩展，它在时间平滑性的权衡下优化特征同现。我们的模型进行了评估，最近的两个案例研究意见聚合随着时间的推移。我们比较了四种不同的概率聚类模型，我们的建议在面向实例的聚类任务的优越性。
2016-01-11 cs.IR cs.LG stat.ML
Clustering Change Sign Detection by Fusing Mixture Complexity
School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术学院）
本文提出MC融合方法扩展混合复杂度，以准确捕捉逐渐变化过渡期间的聚类结构，并据此检测聚类结构变化，在人工和真实数据集上验证了其有效性。
2024-03-27 cs.IT cs.LG math.IT
Efficient Clustering for Stretched Mixtures: Landscape and Optimality
Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
本文考虑了一个典型的聚类问题，其中一个接收未标记的样本从一个平衡的混合物的两个椭圆分布和目标的分类器来估计标签。许多流行的方法，包括PCA和k-means，都要求混合物的各个成分是球形的，当它们被拉伸时，性能很差。为了克服这个问题，我们提出了一个非凸的程序，寻求仿射变换，把数据变成一个一维的点云集中在$-1$和$1$，之后聚类变得容易。我们的理论贡献是双重的：（1）我们表明，非凸损失函数具有理想的几何性质时，样本量超过一些常数倍的尺寸，（2）我们利用这一点来证明，一个有效的一阶算法实现接近最佳的统计精度没有良好的初始化。我们还提出了一个通用的聚类方法与灵活的选择功能转换和损失的目标。
2021-11-27 cs.LG math.OC math.ST
Quantized Compressive K-Means
UCLouvain（鲁汶天主教大学）
最近的压缩统计学习框架旨在设计易于处理的学习算法，这些算法只使用大量数据集的高度压缩表示或草图。压缩K-Means（CKM）就是这样一种方法：它从学习示例的池化、非线性、随机签名中估计数据聚类的质心。虽然这种方法显着减少了非常大的数据集上的计算时间，但其数字实现浪费了采集资源，因为学习示例仅在感知阶段之后才被压缩。目前的工作概括了最初在压缩K均值定义的草图绘制过程中的一个大类的周期性非线性，包括硬件友好的实现，压缩采集整个数据集。这个想法在量化压缩K均值过程中举例说明，该过程是CKM的变体，其利用1位通用量化（即保留标准均匀量化器的最低有效位）作为周期性草图非线性。交易这种资源有效的签名（在大多数收购方案的标准）几乎没有影响的聚类性能，如数值实验所示。
2018-06-18 cs.LG stat.ML
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia（哥伦比亚国立大学）
相异性混合自动编码器（DMAE）是一种用于基于特征的聚类的神经网络模型，它包含灵活的相异性函数，可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型（DMM），该模型通过将概率重新解释为神经网络表示，将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中，允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估，结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
Clustering Mixtures with Almost Optimal Separation in Polynomial Time
Microsoft Research（微软研究院）；MIT（麻省理工学院）
我们考虑的问题，聚类的平均分离高斯混合物在高维。我们从$k$身份协方差高斯的混合物中获得样本，因此对于某个参数$Δ> 0$，任何两对均值之间的最小成对距离至少为$Δ$，目标是恢复这些样本的地面真值聚类。这是民间传说，分离$Δ= Θ(\sqrt{\log k})$是必要的和足够的恢复一个良好的聚类，至少在理论上的信息。然而，实现这一保证的估计是低效的。我们给出了第一个算法，它运行在多项式时间，几乎匹配这个保证。更准确地说，我们给出了一个算法，它需要多项式多个样本和时间，并可以成功地恢复一个良好的聚类，只要分离是$Δ= Ω(\log^{1/2 + c} k)$，对任何$c > 0$。以前，多项式时间算法仅在$k$中分离为多项式时才知道该问题，并且所有能够容忍$\textsf{poly}( \log k )$分离的算法都需要准多项式时间。我们还扩展我们的结果的混合物的分布，满足庞加莱不等式的翻译，在额外的温和的假设。我们的主要技术工具，我们认为是独立的利益，是一种新的方式来隐式表示和估计分布的高阶矩，这使我们能够提取有关高阶矩的重要信息，而无需明确写下完整的矩张量。
2021-12-01 cs.DS cs.LG math.ST
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
尽管基于内核的聚类无处不在，但令人惊讶的是，除了考虑数据生成过程中强结构假设的设置之外，几乎没有统计保证。在这项工作中，我们采取了一个步骤弥合这一差距，通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下，这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证，而无需对组件分布的形式进行结构性假设。此外，我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响，这种联系可能具有实际意义，包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Clustering Semi-Random Mixtures of Gaussians
Rutgers University（罗格斯大学）；Northwestern University（西北大学）
高斯混合模型（GMM）是用于$k$均值聚类问题的最广泛使用的统计模型，并且形成用于机器学习和数据分析中的聚类的流行框架。在本文中，我们提出了一个自然的半随机模型的$k$ -均值聚类，概括了高斯混合模型，我们相信这将是有用的，在确定强大的算法。在我们的模型中，允许半随机对手对从高斯混合模型生成的数据进行任意的“单调”或有益的更改。我们的第一个贡献是一个多项式时间算法，可证明恢复地面真相小分类错误w. h. p.，假设各部件之间有一定的间隔。也许令人惊讶的是，我们分析的算法是流行的劳埃德算法的$k$ -均值聚类，这是在实践中的方法的选择。我们的第二个结果补充了上限，给出了一个几乎匹配的信息理论的下界所产生的任何$k$ -均值聚类算法的半随机模型的误分类点的数量。
2017-11-23 cs.DS cs.LG
Clustering Mixtures of Discrete Distributions: A Note on Mitra's Algorithm
Princeton University（普林斯顿大学）
本文改进了Mitra算法在离散混合分布分类中的分析，通过将其调整为二部随机块模型，获得了比原算法更精细的分离条件。
2024-05-29 cs.LG stat.ML
Recovery of a mixture of Gaussians by sum-of-norms clustering
University of Waterloo（滑铁卢大学）
范数和聚类是一种使用凸优化将$\mathbb{R}^d$中的$n$点分配给$K$聚类$1\le K\le n$的方法。最近，Panahi et al.证明了在样本数不太大的限制下，范数和聚类保证恢复高斯混合。本说明的目的是取消这一限制，即，结果表明，具有相等权重的范数和聚类可以恢复高斯混合，即使样本数趋于无穷大。我们的证明依赖于一个有趣的特征集群计算的范数和聚类，是由Chiquet等人的凝聚猜想的证明内开发的。因为我们相信这个定理有独立的利益，我们重申和重新证明Chiquet等人。结果在此。
2019-02-19 cs.LG stat.ML
Efficient mixture model for clustering of sparse high dimensional binary data
Jagiellonian University（雅盖隆大学）
在本文中，我们提出了一个混合模型，SparseMix，稀疏高维二进制数据的聚类，它连接基于模型的聚类和基于质心。每个组由一个代表和一个概率分布模型离这个代表的距离来描述。与基于EM算法的经典混合模型相比，SparseMix：-是专门为处理稀疏数据而设计的，-可以通过在线Hartigan优化算法有效地实现，-能够自动减少不必要的聚类。我们对各种类型的数据进行了广泛的实验研究，这证实了SparseMix构建的分区与相关方法相比具有更高的参考分组兼容性。此外，构造的代表往往更好地揭示数据的内部结构。
2017-07-11 cs.LG stat.ML
Clustering of non-Gaussian data by variational Bayes for normal inverse Gaussian mixture models
Kogakuin University of Technology and Engineering（工学院大学）
有限混合模型，通常是高斯混合，是众所周知的，并广泛用作基于模型的聚类。在实际情况中，有许多非高斯数据是重尾和/或不对称的。正态逆高斯分布是正态方差均值，其混合密度是逆高斯分布，可以用于半尾和非对称性。对于NIG混合模型，期望最大化方法和变分贝叶斯（VB）算法已经被提出。然而，现有的VB算法对NIG混合物的混合密度的形状是有限的缺点。在本文中，我们提出了另一种VB算法的NIG混合，改进的缺点。我们还提出了一个扩展的Dirichlet过程混合模型，以克服在有限混合模型中确定集群的数量的困难。我们用人工数据评估了性能，发现它优于高斯混合和现有的NIG混合实现，特别是对于高度非规范的数据。
2020-09-13 cs.LG stat.ML
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的有效表示，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型（如K-Means和高斯混合模型）扩展到大规模数据集。然而，到目前为止，算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的，实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施，如平方欧几里德距离，马哈拉诺比斯距离，KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系，相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性，在实证评估。
2016-05-02 cs.LG stat.ML
Clustering Survival Data using a Mixture of Non-parametric Experts
Federal University of Rio de Janeiro（里约热内卢联邦大学）
SurvMixClust将聚类与生存函数预测统一于非参数专家混合框架，在五个公共数据集上生成平衡且生存曲线不同的聚类，优于聚类基线，预测精度媲美非聚类生存模型。
2024-05-24 cs.LG stat.ML
Deep Graph Clustering via Mutual Information Maximization and Mixture Model
Department of Electrical and Computer Engineering, Isfahan University of Technology（伊斯法罕理工大学电子与计算机工程系）
本文提出了一种对比学习框架，通过最大化互信息和混合高斯分布来学习适合聚类的节点嵌入，有效提升了图聚类性能。
2022-05-10 cs.LG
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Clustering based on Mixtures of Sparse Gaussian Processes
Isfahan University of Technology（伊斯法罕理工大学）
创建高维数据集的低维表示是许多机器学习应用中的重要组成部分。如何利用数据的低维嵌入空间进行聚类仍然是机器学习中的一个具有挑战性的问题。在这篇文章中，我们专注于提出一个联合制定聚类和降维。当需要概率模型时，一种可能的解决方案是使用混合模型，其中学习聚类指示符和低维空间。我们的算法是基于稀疏高斯过程的混合，这被称为稀疏高斯过程混合聚类（SGP-MIC）。与现有方法相比，我们的方法的主要优点是，该模型的概率性质比现有的确定性方法提供了更多的优势，构建模型的非线性推广是简单的，并且应用稀疏模型和有效的变分EM近似有助于加快算法。
2023-03-23 cs.LG
Multivariate normal mixture modeling, clustering and classification with the rebmix package
rebmix包提供了用于随机单变量和多变量有限混合模型生成、估计、聚类和分类的R函数。本文研究了方差-协方差阵不受限的多元正态混合模型.我们的目标是显示如何生成数据集的已知数量的组件，观察和组件参数的数量，如何估计组件的数量，组件的权重和组件参数，以及如何预测集群和类成员的基础上训练的模型的REBMIX算法。附带的绘图，引导和其他功能的包处理，太。为了演示的目的，本文研究了一个方差-协方差阵不受限制的多元正态数据集。
2018-01-26 cs.LG stat.ML
Turtle shell clustering: A mixture approach to discriminative clustering with applications to flow cytometry and other data
Department of Mathematics & Statistics, McMaster University（数学与统计学系，麦斯特大学）；School of Computer Science & Statistics, Trinity College Dublin（计算机科学与统计学学院，三一学院都柏林）
本文提出一种混合方法的判别聚类算法，能够自动选择聚类数目并处理数据异常，应用于流式细胞术等数据集。
2026-07-21 cs.LG stat.ME stat.ML
Multivariate Beta Mixture Model: Probabilistic Clustering With Flexible Cluster Shapes
National Central University（中央大学）
本文提出多元贝塔混合模型（MBMM），利用多元贝塔分布的灵活密度函数实现软聚类，并通过合成与真实数据实验验证其能适应多样聚类形状。
2024-02-21 cs.AI cs.LG
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
用于对高维数据进行聚类的最新方法利用深度自动编码器架构。由于自动编码器的黑盒性质，这些网络中的许多网络需要大量的参数，并且缺乏可解释性。我们介绍了混合模型自动编码器（MixMate），一种新的架构，通过对生成模型进行推理来聚类数据。从稀疏字典学习和混合模型的角度来看，MixMate包括几个自动编码器，每个编码器的任务是在不同的集群中重建数据，同时在潜在空间中实施稀疏性。通过对各种图像数据集的实验，我们表明，与最先进的深度聚类算法相比，MixMate实现了具有竞争力的性能，同时使用了数量级更少的参数。
2022-02-25 cs.LG eess.SP
Neural Mixture Models with Expectation-Maximization for End-to-end Deep Clustering
University of Moratuwa（莫拉图瓦大学）；CodeGen（CodeGen公司）
任何聚类算法都必须同步学习对聚类进行建模，并在没有标签的情况下将数据分配给这些聚类。基于混合模型的方法利用预定义的统计分布对聚类进行建模，并基于聚类似然性将数据分配给这些聚类。他们迭代地细化这些分布参数和成员分配的期望最大化（EM）算法。然而，这种手工设计的分布，采用有限数量的参数的集群表示能力是不够的，大多数现实世界的聚类任务。在本文中，我们实现了基于混合模型的聚类与神经网络的最后一层神经元，借助一个额外的转换，近似集群分布输出。网络参数构成这些分布的参数。其结果是一个优雅的，更普遍的集群表示比手工设计的分布的限制性混合。我们通过分批EM迭代对网络进行端到端的训练，其中向前传递充当E步，向后传递充当M步。在图像聚类中，基于混合的EM目标可以与现有的表示学习方法一起用作聚类目标。特别是，我们表明，当混合EM优化融合一致性优化，它提高了唯一的一致性优化性能聚类。我们训练的网络优于仍然依赖于k-means的单阶段深度聚类方法，STL 10的无监督分类准确率为63.8%，CIFAR 10为58%，CIFAR 100为25.9%，MNIST为98.9%。
2022-10-02 cs.AI cs.CV cs.LG
Compressive Learning for Semi-Parametric Models
University of Edinburgh（爱丁堡大学）；Univ Rennes（雷恩大学）
在压缩学习理论中，不是从输入数据解决统计学习问题，而是在学习之前从数据计算所谓的草图。草图必须捕获足够的信息来直接解决问题，允许从内存中丢弃数据集。这在处理大型数据集时很有用，因为草图的大小不随数据库的大小而缩放。在本文中，我们重新制定了原始的压缩学习框架，以明确地满足半参数模型类。重新表述考虑了半参数模型的固有拓扑结构和结构，为压缩学习算法的开发创造了一条直观的途径。我们将我们开发的框架应用于独立成分分析和子空间聚类的半参数模型，证明了框架的鲁棒性，以明确显示何时可以实现复杂性的压缩。
2019-10-22 cs.LG stat.ML
M3C: A Framework towards Convergent, Flexible, and Unsupervised Learning of Mixture Graph Matching and Clustering
Shanghai Jiao Tong University（上海交通大学）
本文提出M3C框架及其无监督扩展UM3C，通过Minorize-Maximization保证收敛、松弛聚类提升灵活性，并引入边级亲和度学习与伪标签选择，在混合图匹配与聚类任务上取得领先的精度和效率。
2023-10-27 cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University（清华大学）；Institute for AI（人工智能研究院）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合研究中心）；THBI Lab（清华脑与智能实验室）
我们提出的混合对比专家（MiCE），一个统一的概率聚类框架，同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发，MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集，并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题，我们进一步开发了MiCE的期望最大化（EM）算法的可扩展变体，并提供收敛性证明。经验上，我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
Explainable Clustering of Mixture Models
Technical University of Munich（慕尼黑技术大学）
本文针对混合模型的可解释聚类问题，提出利用数据分布信息的算法，给出与数据相关的可解释性代价界，并将理论保证扩展到核聚类，完善了最坏情况分析。
2026-09-07 cs.LG
