A generalized Bayes framework for probabilistic clustering
基于损失的聚类方法,如k-means及其变体,是在数据中查找组的标准工具。然而,缺乏量化的不确定性估计集群是一个缺点。基于混合模型的基于模型的聚类提供了一种替代方案,但这样的方法面临计算问题和对核的选择很敏感。本文提出了一个广义贝叶斯框架,这两个范式之间的桥梁,通过使用吉布斯后验。在进行贝叶斯更新时,对数似然被聚类的损失函数所取代,从而产生了丰富的聚类方法家族。吉布斯后验表示贝叶斯信念的一致更新,而无需指定数据的可能性,并且可以用于表征聚类中的不确定性。我们认为损失的基础上Bregman分歧和成对的相似性,并制定有效的确定性算法的点估计以及采样算法的不确定性量化。几个现有的聚类算法,包括k-means,可以被解释为广义贝叶斯估计在我们的框架下,因此,我们提供了一种方法的不确定性量化这些方法。
2020-06-09 stat.ME stat.ML
Bracketing Uncertainty in Clustering Under the Manifold Hypothesis
Yale University(耶鲁大学);IE University(IE大学)
针对流形假设下聚类数不确定性问题,提出基于流形的聚类方法,通过几何权衡形式化不确定性区间,量化而非强制解决聚类数模糊性。
2026-09-17 cs.LG q-bio.QM stat.ML
Subspace Clustering via Optimal Direction Search
University of Central Florida(中佛罗里达大学)
这封信提出了一种新的基于谱聚类的子空间聚类问题的方法。支持所提出的方法是一个凸规划的最佳方向搜索,它为每个数据点d找到一个最佳方向的跨度的数据,具有最小的投影在其他数据点和非零投影d。随后利用所获得的方向来识别每个数据点的邻域集。提出了一种基于乘子框架的交替方向法,有效地求解最优方向。所提出的方法被证明是显着优于现有的子空间聚类方法,特别是对于笨拙的情况下,涉及高水平的噪声和封闭的子空间,并产生国家的最先进的结果,人脸聚类问题,使用子空间分割。
2017-11-26 cs.CV cs.IR cs.LG
Using competency questions to select optimal clustering structures for residential energy consumption patterns
Delft University of Technology(代尔夫特理工大学);University of Cape Town(开普敦大学);Centre for Artificial Intelligence Research(人工智能研究中心)
在聚类分析过程中,经常依赖于领域专家和视觉分析来确定最佳聚类结构。这一过程往往是临时的、主观的,难以复制。这项工作展示了如何使用能力问题来正式确定专家知识和应用要求,以便对住宅能源消耗领域的集群应用进行特定背景评估。
2020-06-01 cs.LG stat.ML
Fully Bayesian Spectral Clustering and Benchmarking with Uncertainty Quantification for Small Area Estimation
Department of Statistics and Data Science, University of California, Davis(加州大学戴维斯分校统计与数据科学系)
本文提出了一种基于频谱聚类的贝叶斯模型,用于小区域估计,通过引入条件后验均方误差来量化不确定性,并通过模拟和案例研究验证了其有效性。
2026-10-14 stat.ME stat.ML
Optimal Clustering Framework for Hyperspectral Band Selection
Northwestern Polytechnical University(西北工业大学);Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences(中国科学院西安光学精密机械研究所);University of Chinese Academy of Sciences(中国科学院大学)
波段选择是在高光谱图像中选取一组具有代表性的波段,在不影响原始图像内容的前提下减少冗余信息的有效方法。近年来,人们提出了各种无监督的波段选择方法,但大多数方法都是基于近似算法,只能获得针对特定目标函数的次优解。本文针对基于聚类的波段选择问题,提出了一种新的解决上述问题的框架,主要包括以下几个方面:1)最优聚类框架(OCF),该框架能够在合理的约束条件下,针对特定形式的目标函数,获得最优的聚类结果。2)提出了一种基于聚类的排序策略(RCS),为在现有聚类结构上选择波段提供了一个有效的标准。3)一种自动确定所需波段数的方法,该方法可以更好地评估由一定数量的波段产生的区别性信息。在实验中,所提出的算法相比,一些国家的最先进的竞争对手。实验结果表明,该算法具有较好的鲁棒性,在各种数据集上的性能都明显优于其他方法。
2019-04-30 cs.LG eess.IV stat.ML
Nearly Optimal Clustering Risk Bounds for Kernel K-Means
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Inception Institute of Artificial Intelligence(启智人工智能研究院)
本文研究了核$k$ -means的统计性质,得到了一个接近最优的超聚类风险界,大大改进了现有聚类风险分析中的超聚类风险界.我们进一步分析了Nyström核$k$ -均值的计算近似的统计效果,并证明了它达到了与只考虑$Ω(\sqrt{nk})$ Nyström标志点的精确核$k$ -均值相同的统计精度。据我们所知,这样的核(或近似核)$k$ -means的急剧过剩的聚类风险界从来没有被提出过。
2020-05-14 cs.LG stat.ML
Optimal Clustering with Missing Values
Texas A&M University(得克萨斯农工大学);TEES-AgriLife Center for Bioinformatics & Genomic Systems Engineering(TEES-农业生命中心生物信息学与基因组系统工程中心)
在现代生物医学研究中,由于各种原因,包括缺失测试或不同组学测量的复杂分析技术,经常出现缺失值。缺失值会使聚类算法的应用复杂化,聚类算法的目标是基于某种相似性标准对点进行分组。在聚类环境中处理缺失值的常见做法是首先估算缺失值,然后对完成的数据应用聚类算法。我们认为缺失值的最优聚类,找到一个最优的聚类算子参考一个潜在的随机标记点过程(RLPP)的上下文中。我们展示了缺失值问题如何巧妙地融入到最优聚类的整体框架中,将缺失值机制融入到随机标记点过程中,然后边缘化缺失值过程。特别是,我们证明了任意协方差结构的高斯模型的建议框架。对合成和真实世界RNA-seq数据的综合实验研究表明,与各种聚类方法相比,所提出的具有缺失值的最佳聚类具有优异的性能。缺失值的最佳聚类避免了对数据进行基于插补的预处理的需要,同时具有较小的聚类误差。
2019-02-26 cs.LG q-bio.QM stat.AP
Optimal Copula Transport for Clustering Multivariate Time Series
Hellebore Capital Management(Hellebore资本管理公司);Ecole Polytechnique(巴黎综合理工学院)
本文提出了一种新的方法聚类多变量时间序列利用最佳运输copula之间。Copula用于编码(i)多变量时间序列的内部依赖性,以及(ii)两个时间序列之间的相互依赖性。然后,最优copula传输允许我们定义多变量时间序列之间的两个距离:(i)一个用于测量内部依赖相异性,(ii)另一个用于测量基于新的多变量依赖系数的相互依赖相异性,该系数对噪声具有鲁棒性,确定性,并且可以针对指定的依赖关系。
2016-01-11 cs.LG stat.ML
Information theoretic model validation for clustering
Swiss Federal Institute of Technology, ETH Zurich(苏黎世联邦理工学院)
聚类中的模型选择需要(i)指定合适的聚类原则和(ii)通过根据数据中的噪声水平选择适当数量的聚类来控制模型阶数复杂度。我们提倡一种信息理论的观点,在测量的不确定性量化的数据分区的集合,从而诱导聚类的解决方案空间中的不确定性。一个聚类模型,它可以容忍更高水平的波动的测量比替代模型,被认为是优越的,提供聚类解决方案是同样的信息。\emph{informativeness}和\emph{robustness}之间的这种折衷用作模型选择标准。数据划分应该从一个数据集推广到一个同样可能的第二个数据集的要求引起了一个新的概念的结构诱导信息。
2010-06-02 cs.IT cs.LG math.IT
Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix
National University of Defense Technology(国防科技大学);Southwestern University of Finance and Economics(西南财经大学)
多视图谱聚类通过对学习到的最优嵌入进行聚类,可以有效地揭示数据间的内在聚类结构。现有的方法虽然在各种应用中表现出良好的性能,但大多数方法通常线性地组合一组预先指定的一阶拉普拉斯矩阵来构造最优拉普拉斯矩阵,这可能导致有限的表示能力和不充分的信息利用。此外,存储和实现对$n\times n$拉普拉斯矩阵的复杂运算会导致密集的存储和计算复杂度。为了解决这些问题,本文首先提出了一种多视图谱聚类算法,该算法学习高阶最优邻域拉普拉斯矩阵,然后将其扩展到后期融合版本,以实现准确高效的多视图聚类。具体来说,我们提出的算法产生的最佳拉普拉斯矩阵搜索的线性组合的邻域的一阶和高阶基拉普拉斯矩阵同时。通过这种方式,学习的最优拉普拉斯矩阵的代表能力得到增强,这有助于更好地利用数据之间隐藏的高阶连接信息,从而提高聚类性能。我们设计了一个有效的算法,证明了收敛性,以解决由此产生的优化问题。在9个数据集上的实验结果表明了该算法相对于现有算法的优越性,验证了该算法的有效性和优越性。
2020-08-31 cs.LG stat.ML
Optimal Exploitation of Clustering and History Information in Multi-Armed Bandit
IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们考虑随机多臂强盗问题和上下文强盗问题与历史观测和预聚类武器。历史观测可以包含每个手臂的任何数量的实例,并且预聚类信息是作为输入的一部分提供的手臂的固定聚类。我们开发了各种算法,有效地将这种离线信息在在线探索阶段,并获得他们的遗憾界限。特别是,我们开发的Meta算法,有效地对冲其他两种算法:一个使用历史观测和聚类,另一个只使用历史观测。当聚类质量好时,前者优于后者,反之亦然。对Warafin药物剂量和Web服务器选择延迟最小化的合成和真实世界数据集进行了广泛的实验,验证了我们的理论见解,并证明Meta是一种强大的策略,可以最佳地利用预聚类信息。
2019-05-31 cs.LG stat.ML
Distribution free optimality intervals for clustering
University of Washington(华盛顿大学)
我们解决的问题,验证聚类算法的输出。给定数据$\mathcal{D}$和将这些数据划分为$K$簇的分区$\mathcal{C}$,我们什么时候可以说获得的簇对数据是正确的或有意义的?本文介绍了一种范式,其中聚类$\mathcal{C}$被认为是有意义的,如果它是好的损失函数,如K-均值失真,稳定,即只有良好的聚类小扰动。此外,我们提出了一个通用的方法来获得后推理保证的聚类$\mathcal{C}$的近最优性和稳定性。该方法可以实例化的各种聚类标准(也称为损失函数),凸松弛存在。获得保证相当于解决凸优化问题。我们证明了这种方法的实际相关性,通过获得保证的K-均值和标准化切割聚类标准的现实数据集。我们还证明了渐近不稳定性蕴含有限样本不稳定性w. h. p.,允许从样本推断群体聚类性。保证不依赖于任何分布的假设,但它们依赖于数据集$\mathcal{D}$承认一个稳定的聚类。
2023-02-01 cs.LG stat.ML
clusterBMA: Bayesian model averaging for clustering
在集成聚类文献中,已经开发了各种方法来组合跨多组结果的推理以进行无监督聚类。从几个备选聚类模型中选出一个“最佳”模型报告结果的做法通常忽略了模型选择产生的不确定性,并导致对特定模型和所选参数敏感的推论。贝叶斯模型平均(BMA)是一种流行的方法,用于组合多个模型的结果,在这种情况下提供了一些有吸引力的好处,包括组合聚类结构的概率解释和基于模型的不确定性的量化。在这项工作中,我们介绍了clusterBMA,一种方法,使加权模型平均从多个无监督聚类算法的结果。我们使用聚类内部验证标准来开发后验模型概率的近似值,用于对每个模型的结果进行加权。从一个共识矩阵表示的加权平均值的聚类解决方案的模型,我们应用对称单纯形矩阵分解计算最终的概率集群分配。除了在模拟数据上优于其他集成聚类方法外,clusterBMA还提供了独特的功能,包括对平均聚类的概率分配,结合“硬”和“软”聚类算法的分配概率,以及测量平均聚类分配中基于模型的不确定性。此方法在附带的同名R包中实现。
2023-03-26 stat.AP stat.ME stat.ML
Near-Optimal Comparison Based Clustering
Univ Lyon(里昂大学);UJM-Saint-Etienne(圣艾蒂安大学);CNRS(法国国家科学研究中心);IOGS(里昂高等师范学院);LabHC UMR 5516(人类与计算机交互实验室);Technical University of Munich(慕尼黑工业大学)
聚类的目标是将相似的对象分组到有意义的分区中。当给出对象之间的显式相似性度量时,这个过程很好理解。然而,当这些信息不容易获得时,我们所知道的要少得多,相反,我们只观察到序数比较,例如“对象i与j比与k更相似”。在本文中,我们使用两步程序来解决这个问题:在使用基于半定规划(SDP)的聚类方法之前,我们从比较中估计成对相似性矩阵。我们从理论上表明,我们的方法可以使用接近最佳数量的被动比较来精确地恢复种植聚类。我们从经验上验证了我们的理论研究结果,并证明了我们的方法在真实数据上的良好行为。
2020-10-09 cs.LG stat.ML
Scalable Model-Based Clustering with Sequential Monte Carlo
Lancaster University(兰卡斯特大学);Microsoft Research(微软研究院)
本文提出一种基于序列蒙特卡洛的聚类算法,通过分解问题提升效率,适用于大规模和复杂分布数据的聚类任务。
2026-04-16 cs.LG stat.CO stat.ML
Discrete Optimal Graph Clustering
Shandong Normal University(山东师范大学);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Shandong Computer Science Center (National Supercomputer Center in Jinan)(山东计算机科学中心(国家超级计算济南中心));Shandong Artificial Intelligence Institute(山东人工智能研究院);University of Electronic Science and Technology of China(电子科技大学);San Diego State University(圣地亚哥州立大学)
基于图的聚类是聚类的主要方法之一。大部分工作在三个独立的步骤:相似性图的构建,聚类标签松弛和标签离散化与k-means。这种常见的做法有三个缺点:1)预定义的相似性图通常是固定的,并且对于后续聚类可能不是最佳的。2)聚类标记的松弛过程可能导致显著的信息丢失。3)标签离散化可能偏离真实的聚类结果,因为k均值对聚类质心的初始化敏感。为了解决这些问题,在本文中,我们提出了一个有效的离散最优图聚类(DOGC)框架。一个结构化的相似性图,理论上是最佳的聚类性能自适应学习的指导下,合理的排名约束。此外,为了避免信息丢失,我们显式地对中间连续标签进行离散变换,从而导出具有离散解的易处理的优化问题。此外,为了补偿学习标签的不可靠性并提高聚类精度,我们设计了一个自适应鲁棒模块,该模块基于学习的离散聚类标签学习未知数据的预测函数。最后,一个迭代优化策略的收敛性保证发展直接解决聚类结果。在真实和合成数据集上进行的大量实验表明,与几种最先进的聚类方法相比,我们提出的方法具有优越性。
2019-04-25 cs.IR cs.LG stat.ML
Interpretable Clustering via Optimal Trees
Massachusetts Institute of Technology(麻省理工学院)
最先进的聚类算法使用聚类分析来划分特征空间,并且对聚类成员资格的基本原理提供很少的见解,从而限制了它们的可解释性。在医疗保健应用中,后者对采用这些方法构成了障碍,因为医学研究人员需要对其决定进行详细解释,以获得患者的信任并限制责任。我们提出了一种新的无监督学习算法,利用混合优化技术来生成可解释的基于树的聚类模型。利用最优树的灵活框架,我们的方法近似于全局最优解,从而获得高质量的特征空间分区。我们的算法,可以结合各种内部验证指标,自然地确定最佳数量的集群,并能够占混合的数值和分类数据。与K-Means相比,它在合成和真实世界数据集上实现了相当或更高的性能,同时提供了更高的可解释性。
2018-12-03 cs.LG stat.ML
Nearly Optimal Dynamic $k$-Means Clustering for High-Dimensional Data
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
我们认为$k$ -均值聚类问题中的动态流设置,其中点从离散欧几里德空间$\{1, 2, \ldots, Δ\}^d$可以动态插入或删除的数据集。对于这个问题,我们提供了一个一遍coret构造算法使用空间$\tilde{O}(k\cdot \mathrm{poly}(d, \logΔ))$,其中$k$是目标中心数。据我们所知,这是$k$的第一个动态几何数据流算法-意味着在$k$中使用空间多项式维数和近似最优(线性)。
2019-02-07 cs.DS cs.LG stat.ML
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文研究了多层网络及离散混合分布的最优聚类问题,提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法,实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
Optimal Clustering in Anisotropic Gaussian Mixture Models
University of Washington(华盛顿大学);University of Pennsylvania(宾夕法尼亚大学)
本文研究了各向异性高斯混合模型下的聚类问题,其中来自不同聚类的协方差阵是未知的,并且不一定是相同的矩阵。我们刻画了信噪比对聚类中心和协方差阵的依赖性,并得到了聚类问题的极大极小下界。此外,我们提出了一个计算上可行的程序,并证明它达到了最佳的速度在几个迭代。所提出的方法是一种硬EM型算法,它也可以被看作是劳埃德算法的一个变体,该算法被调整到各向异性的协方差阵。
2021-01-18 cs.LG math.ST stat.ML
Exploratory Analysis of Functional Data via Clustering and Optimal Segmentation
Télécom ParisTech(巴黎电信学院);CNRS(法国国家科学研究中心);Université Paris Dauphine(巴黎多芬大学);INRIA(法国国家信息与自动化研究所)
本文提出了一种函数型数据的探索性分析算法。该方法将一组函数划分为$K$簇,并通过简单原型(例如,分段常数)。原型中的段的总数$P$由用户选择,并通过两个动态规划算法在集群之间进行最佳分配。在两个真实世界的数据集上显示了该方法的实际相关性。
2010-04-03 cs.LG stat.ML
FOSC-X: An Extended Framework for Optimal Local Cuts and Non-Horizontal Cluster Selection from Clustering Hierarchies
提出FOSC-X框架,通过动态规划从层次聚类树中提取前M个全局最优的局部非水平切割聚类,支持聚类数约束,在线性时间内保证最优排序。
2026-06-18 cs.LG stat.ML
Global Optimal Path-Based Clustering Algorithm
Nanyang Technological University(南洋理工大学);Zhengzhou University(郑州大学);Lanzhou University(兰州大学)
聚类的组合优化问题是NP难问题。大多数优化方法不能为所有数据集找到全局最优解。为了解决这个问题,本文提出了一种基于全局最优路径的聚类算法(GOPC)。GOPC算法基于两个事实:(1)中心点在其簇中具有最小度;(2)一个簇中两个对象之间的minimax距离小于不同簇中对象之间的minimax距离。在合成数据集和真实数据集上进行了大量实验,以评估GOPC算法的性能。在人工数据集上的实验结果表明,GOPC算法可以识别所有类型的聚类,而不管它们的形状、大小和密度如何。在真实数据集上的实验结果证明了GOPC算法的有效性和效率。此外,GOPC算法仅需要一个参数,即,聚类的数量,可以通过决策图来估计。GOPC算法的上述优点使其成为一种很好的通用聚类算法。代码可在https://github.com/Qidong-Liu/Clustering上获得。
2019-09-17 cs.LG stat.ML
Unified Spectral Clustering with Optimal Graph
University of Electronic Science and Technology of China(电子科技大学);Southern Illinois University(南伊利诺伊大学);University of Kentucky(肯塔基大学)
谱聚类在许多领域有着广泛的应用。大多数传统的谱聚类算法分为三个独立的步骤:相似性图的构建;连续的标签学习;离散化学习的标签的k-means聚类。这种常见的做法有两个潜在的缺陷,这可能会导致严重的信息丢失和性能下降。首先,预定义的相似性图可能不是后续聚类的最佳选择。相似度图对聚类结果有很大的影响。为此,我们建议从数据中自动学习相似性信息,同时考虑相似性矩阵具有精确的c连通分量的约束,如果有c个聚类。第二,离散解可能偏离谱解,因为众所周知,k-均值方法对聚类中心的初始化敏感。在这项工作中,我们将候选解决方案转化为一个新的,更好地逼近离散的。最后,这三个子任务被集成到一个统一的框架中,每个子任务通过使用其他子任务的结果来迭代地提高整体最优解。众所周知,核方法的性能在很大程度上取决于核的选择。为了解决如何为特定数据集选择最合适的内核这一实际问题,我们进一步扩展了我们的模型,以包含多个内核学习能力。大量的实验表明,我们所提出的方法相比,现有的聚类方法的优越性。
2017-11-12 cs.AI cs.CV cs.LG
Optimal Transport vs. Fisher-Rao distance between Copulas for Clustering Multivariate Time Series
本文提出了一种对N个由多变量时间序列,即多个实值随机变量序列描述的对象进行聚类的方法。这种聚类方法利用Copula,Copula是对几个随机变量之间的依赖结构进行编码的分布。为了在聚类时充分考虑依赖信息,我们需要在copula之间设置距离。在这项工作中,我们比较著名的分布之间的距离:费舍尔-饶测地距离,相关的分歧和最佳运输,并讨论其优点和缺点。这种方法的应用可以在金融资产的分类中找到。可重复研究的教程、实验和实现可以在www.datagrapple.com/Tech上找到。
2016-11-14 stat.ML
Statistical Properties of the Single Linkage Hierarchical Clustering Estimator
基于距离的层次聚类(HC)方法在无监督数据分析中得到了广泛的应用,但很少有人考虑到距离数据的不确定性。我们将通过腐败或噪声的成对距离的不确定性的统计模型和调查的问题,估计HC作为未知参数的测量。具体来说,我们专注于单连锁层次聚类(SLHC),并研究其几何形状。我们证明了在相当合理的条件下的概率分布管理的测量,SLHC是等价于最大部分配置文件似然估计(MPPLE)的数据中包含的一些信息被忽略。同时,我们表明,直接评估的SLHC对极大似然估计(MLE)的成对距离产生一个相合估计量。因此,预期完整的MLE在获得地面真实度量的正确HC结果方面比SLHC表现更好。
2016-09-01 stat.ML
Beyond Looking Up, Try Looking Around: Harmonizing Global Structure and Local Consistency in Optimal Transport for Short Text Clustering
Harbin Engineering University, China.(哈尔滨工程大学)
针对现有最优传输方法在短文本聚类中忽视语义一致性的问题,提出新框架,设计实例级注意力机制并融入OT公式,获取兼顾语义一致性和全局结构信息的伪标签,提升短文本聚类效果,优于现有方法。
2026-07-14 cs.LG stat.ML
A unified framework for hard and soft clustering with regularized optimal transport
Safran Tech(赛峰科技);Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Bordeaux INP(波尔多理工学院);IMB(数学与计算机科学研究所);BackMarket(BackMarket公司);Brain Corp(Brain Corp公司)
该研究将离散数据的有限混合模型推断构建为熵正则化最优传输问题,提出统一硬软聚类的广义λ-EM算法族,证明其收敛性与闭式解,实验验证不同λ取值的性能优势。
2024-03-07 cs.LG stat.ML
On Structured Filtering-Clustering: Global Error Bound and Optimal First-Order Algorithms
University of California, Berkeley(加州大学伯克利分校);University of Texas, Austin(德克萨斯大学奥斯汀分校)
过滤-聚类模型,包括趋势过滤和凸聚类,已成为机器学习及相关领域的重要思想来源和建模工具。在这些模型中的最优解的统计保证已被广泛研究,但在计算方面的调查仍然有限。特别是,从业者经常采用的一阶算法在现实世界中的应用,并留下深刻的印象,无论差算子矩阵的病态结构,其优越的性能,从而留下了开放的问题,了解一阶算法的收敛性。本文解决了这一问题,并有助于统计和优化之间的广泛的相互作用,通过确定一个\textit{global error bound}条件,这是满足一大类的双重过滤聚类问题,并设计了一类\textit{generalized dual gradient ascent}算法,这是\textit{optimal}一阶算法在确定性,有限和在线设置。我们的结果是新的,并有助于解释为什么过滤聚类模型可以有效地解决一阶算法。我们还提供了详细的收敛速度分析所提出的算法在不同的设置,阐明他们的潜力,有效地解决过滤聚类模型。我们还在真实数据集上进行了实验,数值结果证明了我们的算法的有效性。
2022-01-24 cs.LG stat.CO stat.ML
Co-clustering through Optimal Transport
在本文中,我们提出了一种新的方法,共同聚类,一种无监督的学习方法,旨在发现同质组的数据实例和功能,同时将它们分组。所提出的方法使用熵正则化的最佳传输之间的经验措施定义的数据实例和功能,以获得一个估计的联合概率密度函数表示的最佳耦合矩阵。该矩阵进一步因式分解,以获得诱导的行和列分区使用多尺度表示的方法。为了从理论上证明我们的方法,我们展示了如何从变分推断的角度来看待正则化最优运输的解决方案,从而激励其用于联合聚类。基于Gromov-瓦瑟斯坦距离的核化算法具有快速、准确的特点,并能自动确定行簇和列簇的个数。这些功能生动地证明了通过广泛的实验评估。
2017-05-19 stat.ML
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题,我们建立一般条件下,家庭的非参数混合模型是可识别的,通过引入一个新的框架,涉及聚类过拟合\emph{parametric}(即误指定)混合模型。这些可识别性条件概括了文献中的现有条件,并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合,我们允许一般的非参数混合成分,而不是施加规律性假设的基础混合措施。作为我们的主要应用程序,我们将这些结果应用到基于分区的聚类,将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外,这个框架是建设性的,使它产生一个实用的算法学习识别的混合物,这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的,度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架,非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Bilkent University(比尔肯特大学)
本文针对次指数混合模型,提出基于Chernoff散度的通用聚类误差下界,证明迭代算法可达最优速率,并验证Bregman硬聚类在指数族混合模型中的速率最优性。
2024-07-17 cs.LG math.ST stat.ML
Near-Optimal Clustering in Mixture of Markov Chains
KAIST AI(韩国科学技术院人工智能研究所);ICL(国际计算机实验室);EEE(电气电子工程系);KTH EECS(瑞典皇家理工学院电子工程系);Digital Futures(数字未来)
本文研究了对T条长度为H的轨迹进行聚类的问题,每条轨迹由K个未知的平稳马尔可夫链生成。作者推导了聚类误差率的实例依赖下界,并提出两阶段算法,通过新的欧几里得嵌入实现谱聚类,随后通过似然重新分配优化聚类结果,证明算法在合理条件下可实现近最优聚类性能。
2026-03-17 cs.IT cs.LG math.IT
Statistically Optimal K-means Clustering via Nonnegative Low-rank Semidefinite Programming
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
针对K均值聚类中SDP松弛成本高、NMF缺乏理论保证的问题,提出基于Burer--Monteiro分解的类NMF非负低秩SDP算法,兼具可扩展性与统计最优性,误聚类误差显著更低。
2024-04-13 cs.LG math.OC stat.ML
Provable Clustering of a Union of Linear Manifolds Using Optimal Directions
Amazon(亚马逊)
本文重点研究了基于矩阵分解的聚类方法,它是解决子空间聚类问题的少数几个封闭形式算法之一。尽管简单,封闭形式,计算效率高,MFC可以在许多具有挑战性的情况下优于其他复杂的子空间聚类方法。我们揭示了MFC和创新追求(iPursuit)算法之间的联系,该算法被证明能够优于其他基于谱聚类的方法,特别是当聚类的跨度接近时,具有显着的利润率。提出了一种新的理论研究,揭示了这两种算法(MFC/iPursuit)的关键性能因素,它表明,这两种算法可以是强大的显着的交叉点之间的跨度集群。重要的是,在其他算法的理论保证,强调子空间之间的距离作为关键的性能因素,而不作创新的假设,它表明,MFC/iPursuit的性能主要取决于集群的创新组件之间的距离。
2022-01-08 cs.LG math.ST stat.ML
Reliable Pseudo-labeling via Optimal Transport with Attention for Short Text Clustering
本文提出POTA框架,通过实例级注意力机制和最优传输优化生成可靠伪标签,提升短文本聚类的判别表示学习能力。
2025-02-04 cs.LG stat.CO stat.ML
Sketch-and-solve approaches to k-means clustering by semidefinite programming
The Ohio State University(俄亥俄州立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
我们引入了一个草图和解决的方法,以加快Peng-Wei半定松弛的k-均值聚类。当数据被适当地分离时,我们识别出k-均值最优聚类。否则,我们的方法提供了一个高置信下限的最佳k均值值。这个下限是数据驱动的;它不对数据或数据是如何生成的做出任何假设。我们提供了代码和一组广泛的数值实验,我们使用这种方法来证明通过k-means++获得的聚类解决方案的近似最优性。
2022-11-28 cs.DS cs.IT cs.LG
Optimal Variable Clustering for High-Dimensional Matrix Valued Data
Cornell University(康奈尔大学);TikTok
针对高维矩阵值数据,本文提出基于潜变量模型和加权协方差差分的层次变量聚类方法,证明其一致性并给出极小极大最优权重。
2023-12-06 cs.LG math.ST stat.ME
BalLOT: Balanced $k$-means clustering with optimal transport
Department of Mathematics, The Ohio State University(数学系,俄亥俄州立大学);Translational Data Analytics Institute, The Ohio State University(转化数据分析研究所,俄亥俄州立大学)
BalLOT通过最优传输方法实现平衡k均值聚类,提供快速有效解决方案,并在理论和实验上证明了其在聚类恢复中的有效性。
2026-10-02 cs.DS cs.IT cs.LG
Phase transitions and optimal algorithms in high-dimensional Gaussian mixture clustering
我们考虑了高维极限下的高斯混合聚类问题,其中数据由$n$维中的$m$点组成,$n,m \rightarrow \infty$和$α= m/n$保持有限。使用统计物理学的精确但非严格的方法,我们确定了$α$的临界值和聚类之间的距离,在该距离处,从信息理论上讲,可以将成员资格重建为比机会更好的聚类。我们还确定了贝叶斯最优估计算法所能达到的精度。特别是,我们发现,当集群的数量是足够大的,$r > 4 + 2 \sqrtα$,有一个信息理论上的最佳性能的阈值和阈值之间的差距,在已知的算法成功。
2016-10-10 cond-mat.dis-nn cs.IT math.IT
Optimal Clustering with Dependent Costs in Bayesian Networks
Queensland University of Technology(昆士兰科技大学);Italian National Research Council(意大利国家研究委员会)
本文提出DCMAP算法,通过依赖成本优化实现贝叶斯网络中最优聚类,有效提升计算效率并减少熵,适用于复杂系统学习。
2025-12-23 cs.DS stat.ML
Minimax-Optimal Spectral Clustering with Covariance Projection for High-Dimensional Anisotropic Mixtures
Department of Statistics, Columbia University(哥伦比亚大学统计学系)
本文提出了一种基于协方差投影的谱聚类方法,以应对高维各向异性混合物中的复杂噪声结构,通过改进的重新分配步骤和理论分析,实现了最小最大最优的聚类性能。
2026-01-26 math.ST stat.ME stat.ML
Model Assisted Variable Clustering: Minimax-optimal Recovery and Algorithms
基于模型的聚类定义了相对于嵌入相似性概念的模型的总体级别聚类。为这种模型量身定制的算法产生具有明确统计解释的估计聚类。我们在这里采取这种观点,并引入G块协方差模型作为变量聚类的背景模型。在这样的模型中,如果一个集群中的两个变量与所有其他变量具有相似的关联,则它们被认为是相似的。例如,当变量组是相同潜在因子的噪声破坏版本时,可能会出现这种情况。我们量化的困难,从一个G块协方差模型中产生的聚类数据的聚类接近度,测量两个相关的,但不同的,集群分离指标。我们推导出极大极小聚类分离阈值,这是度量值,低于该值没有算法可以准确地恢复模型定义的聚类,并表明它们是不同的两个度量。因此,我们开发了两种算法,COD和PECOK,量身定制的G块协方差模型,并研究他们的最小最优相对于每个指标。独立感兴趣的是,分析的PECOK算法,这是一个校正的凸松弛的流行的K-均值算法的基础上,提供了第一个统计分析的变量聚类算法。此外,我们对比我们的方法与另一种流行的聚类方法,谱聚类,专门变量聚类,并表明,通过这种方法确保准确的集群恢复需要集群有一个更高的分离,相对于极大极小阈值。广泛的模拟研究,以及我们的数据分析,证实了我们的方法的适用性。
2018-12-13 math.ST stat.ME stat.ML
Robust Bregman Clustering
使用修剪的方法,我们调查的k-均值类型的方法的基础上Bregman分歧聚类数据可能损坏杂波噪声。Bregman分歧的主要兴趣在于标准Lloyd算法适应这些失真度量,并且它们非常适合根据指数族的混合模型采样的数据进行聚类。我们证明了存在一个最优码本,并且一个经验最优码本收敛于a. s。在失真意义上的最佳码本。此外,我们得到的亚高斯收敛速率的k-means 1 $\sqrt$ n下温和的尾部假设。此外,我们推导出一个修剪参数,可以从数据中选择,根据一些启发式,并提出了一些实验结果的一个crowd型算法。
2020-09-09 math.ST stat.ML stat.TH