Local versions of sum-of-norms clustering
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);CNRS(法国国家科学研究中心);Ecole Normale Supérieure de Lyon(里昂高等师范学校)
本研究提出范数和聚类的局部化版本,证明其可在随机球模型中分离任意接近的球,并给出以数据点数量和泛函局部化长度表示的不相交连通集聚类误差量化界。
2022-08-04 cs.LG math.ST stat.ML
Data Transformation Insights in Self-supervision with Clustering Tasks
Bing Ads, Microsoft(必应广告,微软)
自我监督是将深度学习扩展到标签稀缺领域的关键。对于大多数自监督方法,数据转换起着重要的作用。然而,到目前为止,尚未研究转型的影响。此外,不同的转换可能对系统产生不同的影响。我们提供了新的见解使用数据转换的自我监督任务,特别是有关聚类。我们从理论上和经验上证明了某些变换有助于自监督聚类的收敛。我们还显示的情况下,转换是没有帮助的,在某些情况下,甚至是有害的。我们显示更快的收敛速度与有效的转换凸以及某些家庭的非凸目标,随着证明收敛到原来的最优值。我们有合成和真实世界的数据实验。经验上,我们的结果符合理论的见解提供。
2020-02-18 cs.LG math.ST stat.ML
Convergence and Recovery Guarantees of the K-Subspaces Method for Subspace Clustering
K-subspaces(KSS)方法是子空间聚类的K-means方法的推广。在这项工作中,我们提出了局部收敛分析和恢复保证KSS,假设数据产生的半随机联盟的子空间模型,其中$N$点随机采样从$K \ge 2$重叠的子空间。我们表明,如果KSS方法的初始分配位于一个真正的聚类邻域内,它以超线性速度收敛,并以高概率在$Θ(\log\log N)$迭代内找到正确的聚类。此外,我们提出了一个阈值内积为基础的谱方法的初始化,并证明它产生一个点在这个邻域。我们还提出了所研究的方法,以支持我们的理论发展的数值结果。
2022-06-19 math.OC stat.ML
Convergence and clustering analysis for Mean Shift with radially symmetric, positive definite kernels
本文研究了均值偏移算法在径向对称正定核下的收敛性与聚类分析,证明了在足够大的带宽下,无论维度如何,算法都能收敛。同时探讨了不同核函数在大带宽下的聚类性能。
2026-03-16 cs.LG stat.ML
Clustering using Max-norm Constrained Optimization
University of Texas at Austin(德克萨斯大学奥斯汀分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们建议使用最大范数作为凸代理约束聚类。我们展示了如何产生一个更好的准确的集群恢复保证比以前建议的核范数松弛,并研究我们的方法的有效性,和其他相关的凸松弛,相比其他聚类方法。
2012-04-13 cs.LG stat.ML
Improving Spectral Clustering using the Asymptotic Value of the Normalised Cut
谱聚类是一种流行的和通用的聚类方法的基础上放松的规范化图切割目标。尽管它的流行,但是,没有一个单一的商定的方法来调整重要的缩放参数,也没有自动确定聚类提取的数量。流行的物理学是存在的,但相应的理论结果是稀缺的。在本文中,我们调查的渐近值的归一化削减假设产生一个潜在的概率分布增加的样本,并根据这一结果提供改进谱聚类方法的建议。提出了相应的算法,具有较强的经验性能。
2019-11-09 stat.ML
Recovery of a mixture of Gaussians by sum-of-norms clustering
University of Waterloo(滑铁卢大学)
范数和聚类是一种使用凸优化将$\mathbb{R}^d$中的$n$点分配给$K$聚类$1\le K\le n$的方法。最近,Panahi et al.证明了在样本数不太大的限制下,范数和聚类保证恢复高斯混合。本说明的目的是取消这一限制,即,结果表明,具有相等权重的范数和聚类可以恢复高斯混合,即使样本数趋于无穷大。我们的证明依赖于一个有趣的特征集群计算的范数和聚类,是由Chiquet等人的凝聚猜想的证明内开发的。因为我们相信这个定理有独立的利益,我们重申和重新证明Chiquet等人。结果在此。
2019-02-19 cs.LG stat.ML
Distributed Gradient Clustering: Convergence and the Effect of Initialization
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院);Faculty of Sciences, University of Novi Sad(诺维萨德大学理学院)
研究了中心初始化对分布式梯度聚类算法性能的影响,提出改进的分布式中心初始化方案,提升算法鲁棒性与性能。
2026-03-20 cs.LG stat.ML
Spectral Convergence Rate of Graph Laplacian
从数据集构造的图的拉普拉斯特征向量被用于许多谱流形学习算法,如扩散映射和谱聚类。给定一个由$\mathbb{R}^D$中的$d$维紧致子流形$M$的随机样本构造的图,我们建立了图Laplacian的谱收敛速度。它意味着通过一个标准的扰动参数的谱聚类算法的一致性。一个简单的数值研究表明,应用频谱算法之前的去噪步骤的必要性。
2015-10-27 stat.ML
Certifying clusters from sum-of-norms clustering
Cornell University(康奈尔大学);University of Waterloo(滑铁卢大学)
范数和聚类是一种基于凸优化的聚类公式,它可以自动产生层次结构。已经提出了多种算法来解决优化问题:Hocking等人的次梯度下降,Chi和Lange的ADMM和ADA算法、Panahi等人的随机增量算法和Sun等人的半光滑Newton-CG增广拉格朗日方法。本文的目的是缩小现有算法的输出和优化问题的精确解之间的差距。我们提出了一个聚类测试,识别和证明正确的集群分配从任何原始-对偶算法产生的近似解。我们的认证验证了单位和乘法权重的聚类。如果近似值不准确,则测试可能无法成功。然而,我们证明了正确的集群分配是保证认证的原始-对偶路径跟踪算法经过足够多的迭代,只要模型参数$λ$避免了有限数量的坏值。在高斯混合数据和半月数据上进行的数值实验表明,精心选择的乘法权重提高了范数和聚类的恢复能力。
2021-07-08 cs.LG math.OC stat.ML
Clustering Result Re-guided Incomplete Multi-view Spectral Clustering
College of Information Engineering, Shanghai Maritime University(上海 Maritime University 信息工程学院);Department of Automation, Shanghai Jiao Tong University(上海 Jiao Tong University 自动化系)
针对不完整多视图谱聚类中样本连通性未被有效利用的问题,提出CRG_IMSC方法,通过非负约束直接获取聚类结果并构建连通性矩阵最小化自表示残差,实验证明其优于现有方法且收敛。
2025-10-11 cs.LG stat.ML
Probabilistic Clustering Using Maximal Matrix Norm Couplings
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们提出了一个局部信息理论的方法来明确学习离散随机变量的概率聚类。我们的公式产生一个凸最大化问题,它是NP-难找到全局最优。为了在算法上解决这个优化问题,我们提出了两个松弛,通过梯度上升和交替最大化来解决。在MSR句子补全挑战、MovieLens 100 K和Reuters 21578数据集上的实验表明,该方法与现有技术相比具有竞争力,值得进一步研究。
2018-10-10 cs.IT cs.LG math.IT
Clustering of non-Gaussian data by variational Bayes for normal inverse Gaussian mixture models
Kogakuin University of Technology and Engineering(工学院大学)
有限混合模型,通常是高斯混合,是众所周知的,并广泛用作基于模型的聚类。在实际情况中,有许多非高斯数据是重尾和/或不对称的。正态逆高斯分布是正态方差均值,其混合密度是逆高斯分布,可以用于半尾和非对称性。对于NIG混合模型,期望最大化方法和变分贝叶斯(VB)算法已经被提出。然而,现有的VB算法对NIG混合物的混合密度的形状是有限的缺点。在本文中,我们提出了另一种VB算法的NIG混合,改进的缺点。我们还提出了一个扩展的Dirichlet过程混合模型,以克服在有限混合模型中确定集群的数量的困难。我们用人工数据评估了性能,发现它优于高斯混合和现有的NIG混合实现,特别是对于高度非规范的数据。
2020-09-13 cs.LG stat.ML
Fermat Distances: Metric Approximation, Spectral Convergence, and Clustering Algorithms
University of Wisconsin(威斯康星大学);University of Utah(犹他大学);Colorado School of Mines(科罗拉多矿业学院);Tufts University(塔夫茨大学)
本文研究 Fermat 距离从离散样本到连续密度扭曲度量的收敛速率,并据此证明图 Laplace 算子谱收敛,提出新的密度驱动谱聚类算法。
2023-07-07 cs.DS cs.LG math.DG
Classification EM-PCA for clustering and embedding
Centre Borelli, Université Paris Cité(博雷利中心,巴黎城市大学)
本文提出结合PCA和CEM的算法,用于同时实现数据嵌入和聚类,解决高维数据的降维与快速收敛问题。
2025-11-24 cs.AI cs.CL cs.LG
Stochastic Parallelizable Eigengap Dilation for Large Graph Clustering
University of Amsterdam(阿姆斯特丹大学);DeepMind(深度思维)
大型图通常出现在社交网络、知识图、推荐系统、生命科学和决策问题中。通过大型图的高级属性对其进行总结有助于解决这些设置中的问题。在谱聚类中,我们的目标是确定节点的集群,其中大多数边缘落在集群内,只有少数边缘落在集群之间。此任务对于许多下游应用程序和探索性分析非常重要。谱聚类的核心步骤是执行对应的图拉普拉斯矩阵的特征分解(或等效地,关联矩阵的奇异值分解,SVD)。迭代奇异值分解方法的收敛性取决于给定矩阵的谱的特征间隙,即,连续特征值之间的差。对于对应于良好聚类图的图拉普拉斯算子,特征值将是非负的,但非常小(远小于$1$),从而减慢收敛。本文介绍了一种可并行的方法来扩大频谱,以加快SVD求解器,进而,谱聚类。这是通过多项式逼近矩阵运算来实现的,这些运算可以在不改变矩阵特征向量的情况下有利地变换矩阵的谱。实验表明,这种方法显着加快收敛,我们解释了如何这种变换可以并行化和随机近似规模与可用的计算。
2022-07-29 cs.LG stat.ML
Minimax Rates and Improved Spectral Convergence for Multi-Manifold Clustering
University of Utah(犹他大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
该研究针对多流形混合分布数据,建立了张量化拉普拉斯-贝尔特拉米算子特征对估计的极小极大率,提出的流形无关图拉普拉斯估计器改进了谱收敛速率,数值实验验证了理论结果。
2026-10-14 cs.LG stat.ML
Normalised clustering accuracy: An asymmetric external cluster validity measure
Warsaw University of Technology(华沙理工大学);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所)
针对现有聚类外部有效性度量在识别最坏情况和可解释性上的不足,提出一种归一化、单调、尺度不变且校正簇不平衡的最优集合匹配准确率变体作为新度量。
2025-10-15 cs.LG stat.ML
A Non-Parametric Bootstrap for Spectral Clustering
University of Toronto(多伦多大学);Simon Fraser University(西蒙菲莎大学)
针对有限混合模型中EM算法易收敛到次优解的问题,提出两种结合数据矩阵谱分解和非参数自助法抽样的新算法,模拟证明其具有更高的灵活性、计算效率和收敛一致性。
2024-03-20 cs.LG stat.ML
Rank/Norm Regularization with Closed-Form Solutions: Application to Subspace Clustering
University of Alberta(阿尔伯塔大学)
本文通过推广Eckart-Young-Mirsky定理到所有酉不变范数,得到秩/范数正则化问题的闭式解,并应用于子空间聚类,获得新理论见解和实验效果。
2012-10-09 cs.LG cs.NA math.NA
$p$-Norm Flow Diffusion for Local Graph Clustering
University of Waterloo(滑铁卢大学);Google Research(谷歌研究院)
局部图聚类和与之密切相关的种子集扩展问题是图上的基元,这些基元是诸如局部聚类、社区发现、节点排名和特征推断等广泛的分析和学习任务的核心。现有的局部图聚类研究主要分为两类,分别是数值根聚类和组合根聚类。在这项工作中,我们从这两个领域的启发,并提出了一个家庭的凸优化配方的基础上扩散的思想与p-范数网络流的$p\in (1,\infty)$。在局部聚类的背景下,我们描述了这些优化问题的最佳解决方案,并显示它们在寻找低电导切割输入种子集周围的有用性。特别是,我们实现了二次近似的电导的情况下,$p=2$类似的Cheeger型边界的谱方法,常数因子近似时,$p\rightarrow\infty$类似的最大流为基础的方法,和一般的$p$值之间的平滑过渡。因此,我们的优化配方可以被视为桥接的数值和组合的方法,我们可以实现最好的两个世界的速度和噪声鲁棒性。我们表明,所提出的问题可以解决在强烈的本地运行时间为$p\ge 2$,并进行实证评估合成和现实世界的图,以说明我们的方法相比,优于现有的方法。
2020-07-20 cs.LG cs.SI math.OC
Persistent Clustering and a Theorem of J. Kleinberg
我们构建了一个研究聚类算法的框架,其中包括两个关键思想:持久性和功能性。第一个编码的想法,一个聚类方案的输出应该进行多分辨率结构,第二个想法,一个应该能够比较聚类算法的结果,因为一个不同的数据集,例如通过添加点或通过应用功能。我们表明,在这个框架内,可以证明一个定理类似于J. Kleinberg,其中一个得到存在唯一性定理而不是不存在的结果。我们进一步研究了这个唯一格式的性质,证明了它的稳定性和收敛性。
2008-08-16 stat.ML
Local Graph Clustering with Network Lasso
Aalto University(阿尔托大学);Sharif University of Technology(谢里夫理工大学)
我们研究了局部图聚类的网络Lasso方法的统计和计算特性。nLasso提供的集群可以通过集群边界和种子节点之间的网络流来优雅地表征。虽然谱聚类方法是由图形拉普拉斯二次型的最小化来指导的,但nLasso最小化了聚类指示符信号的总变化。正如理论和数值所证明的那样,nLasso方法可以处理非常稀疏的聚类(链状),这对于谱聚类来说是困难的。我们还验证了一个原始-对偶方法的非光滑优化允许近似nLasso的解决方案,最佳的最坏情况下的收敛速度。
2020-10-03 cs.LG stat.ML
Conjugate Mixture Models for Clustering Multimodal Data
INRIA Grenoble Rhône-Alpes(法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心)
多模态聚类的问题出现时,数据收集与几个物理上不同的传感器。不同模态的观察结果不一定是一致的,因为没有明显的方式在某个共同的空间中将它们联系起来或进行比较。一种解决方案可以包括针对每个模态独立地考虑多个聚类任务。这种方法的主要困难是保证单峰聚类是相互一致的。在本文中,我们表明,多峰聚类可以在一个新的框架,即共轭混合模型。这些模型利用了在未观测的参数空间(对象)和每个观测空间(传感器)之间经常可用的显式变换。我们制定的问题作为一个似然最大化的任务,我们推导出相关的共轭期望最大化算法。该算法的收敛性能进行了深入研究。提出了几种局部/全局优化技术,以提高其收敛速度。提出并比较了两种初始化策略。提出了一个一致的模型选择准则。该算法及其变体进行测试和评估的任务内的3D定位的几个扬声器使用听觉和视觉数据。
2020-12-09 cs.CV cs.LG cs.SD
A Fixed point view: A Model-Based Clustering Framework
Huazhong University of Science and Technology(华中科技大学)
随着数据的膨胀,聚类分析作为无监督学习的一个分支,对其数学规律缺乏统一的认识和应用。基于不动点的观点,对基于模型的聚类进行了重新阐述,提出了一个统一的聚类框架。为了找到作为聚类中心的不动点,该框架迭代地构造收缩映射,这有力地揭示了算法之间的收敛机制和相互联系。通过指定压缩映射,高斯混合模型(GMM)可以映射到框架作为一个应用程序。我们希望不动点框架将有助于设计未来的聚类算法。
2020-02-19 cs.LG cs.NE stat.ML
Adaptive Clustering Using Kernel Density Estimators
我们推导并分析了一个通用的,递归算法估计所有分裂在有限的集群树以及相应的集群。我们进一步研究这个通用的聚类算法时,它收到的核密度估计水平集估计的统计特性。特别是,我们得到有限样本的保证,一致性,收敛速度,和自适应的数据驱动的策略选择内核带宽。对于这些结果,我们不需要密度的连续性假设,如Hölder连续性,而只需要非参数性质的直观几何假设。
2021-11-01 stat.ME stat.ML
On Structured Filtering-Clustering: Global Error Bound and Optimal First-Order Algorithms
University of California, Berkeley(加州大学伯克利分校);University of Texas, Austin(德克萨斯大学奥斯汀分校)
过滤-聚类模型,包括趋势过滤和凸聚类,已成为机器学习及相关领域的重要思想来源和建模工具。在这些模型中的最优解的统计保证已被广泛研究,但在计算方面的调查仍然有限。特别是,从业者经常采用的一阶算法在现实世界中的应用,并留下深刻的印象,无论差算子矩阵的病态结构,其优越的性能,从而留下了开放的问题,了解一阶算法的收敛性。本文解决了这一问题,并有助于统计和优化之间的广泛的相互作用,通过确定一个\textit{global error bound}条件,这是满足一大类的双重过滤聚类问题,并设计了一类\textit{generalized dual gradient ascent}算法,这是\textit{optimal}一阶算法在确定性,有限和在线设置。我们的结果是新的,并有助于解释为什么过滤聚类模型可以有效地解决一阶算法。我们还提供了详细的收敛速度分析所提出的算法在不同的设置,阐明他们的潜力,有效地解决过滤聚类模型。我们还在真实数据集上进行了实验,数值结果证明了我们的算法的有效性。
2022-01-24 cs.LG stat.CO stat.ML
Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering
Johns Hopkins University(约翰斯·霍普金斯大学);Beijing University of Posts and Telecommunications(北京邮电大学)
现有技术的子空间聚类方法基于将每个数据点表示为其他数据点的线性组合,同时用$\ell_1$、$\ell_2$或核范数正则化系数矩阵。保证$\ell_1$正则化给出子空间保持亲和性(即,来自不同子空间的点之间没有连接),但是簇可以不连接。$\ell_2$和核范数正则化通常会改善连通性,但仅对独立子空间给出子空间保持亲和性。混合的$\ell_1$、$\ell_2$和核范数正则化提供了子空间保持和连通性属性之间的平衡,但这是以增加的计算复杂性为代价的。本文研究了弹性网络正则化子($\ell_1$和$\ell_2$范数的混合)的几何结构,并利用它导出了一个可证明正确的和可扩展的有效集方法来寻找最佳系数。我们的几何分析还提供了一个理论上的理由和几何解释之间的平衡的连通性(由于$\ell_2$正则化)和子空间保持(由于$\ell_1$正则化)属性的弹性网络子空间聚类。实验结果表明,该方法不仅具有最佳的聚类性能,而且能够有效地处理大规模数据集。
2016-05-09 cs.CV cs.LG stat.ML
Robust Subspace Clustering via Tighter Rank Approximation
Southern Illinois University(南伊利诺伊大学)
矩阵秩最小化问题一般是NP-难的。核范数在最近的许多研究中被用来代替秩函数。然而,核范数近似将所有奇异值加在一起,并且近似误差可能在很大程度上取决于奇异值的大小。这可能会限制其处理许多实际问题的能力。在本文中,反正切函数被用来作为一个更紧密的逼近秩函数。我们将其用于具有挑战性的子空间聚类问题。对于这个非凸最小化问题,我们开发了一种有效的优化程序的基础上的一种增广拉格朗日乘子(ALM)方法。大量的人脸聚类和运动分割实验表明,该方法是有效的秩近似。
2015-10-30 cs.AI cs.CV cs.LG
Robust Subspace Clustering via Smoothed Rank Approximation
Southern Illinois University(南伊利诺伊大学)
本文提出基于对数-行列式秩近似的方法,用于子空间聚类,以提高精度并有效处理误差和噪声。
2015-08-18 cs.CV cs.IT cs.LG
Feature Clustering for Accelerating Parallel Coordinate Descent
University of Michigan(密歇根大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
大规模L1正则化损失最小化问题出现在高维应用中,例如压缩感知和高维监督学习,包括分类和回归问题。高性能算法和实现对于有效解决这些问题至关重要。建立在以前的工作坐标下降算法的L1正则化问题,我们引入了一个新的家庭的算法称为块贪婪坐标下降,包括,作为特殊情况下,现有的几种算法,如SCD,贪婪CD,猎枪,线程贪婪。给出了块贪婪算法族的统一收敛性分析。分析表明,块贪婪坐标下降可以更好地利用并行性,如果特征被聚类,使得不同块中的特征之间的最大内积很小。我们的理论收敛性分析与实验结果支持,使用来自不同的现实世界的应用程序的数据。我们希望我们提供的算法方法和收敛性分析不仅能推动该领域的发展,而且还能鼓励研究人员系统地探索解决大规模L1正则化问题的算法的设计空间。
2012-12-17 cs.DC cs.LG math.OC
A novel k-means clustering approach using two distance measures for Gaussian data
School of Mathematical Sciences(数学科学学院);College of Science(科学学院);Rochester Institute of Technology(罗切斯特技术学院)
本文提出了一种结合簇内和簇间距离度量的新型k-means聚类方法,通过Calinski-Harabasz准则确定簇数,提高聚类结果的鲁棒性和准确性。
2026-07-31 cs.CE cs.LG stat.ME