Convex Relaxations of Bregman Divergence Clustering
University of Alberta(阿尔伯塔大学);National ICT Australia(澳大利亚国家信息通信技术中心);ANU(澳大利亚国立大学)
虽然在过去的十年中已经提出了许多凸松弛的聚类,目前的配方仍然局限于球形高斯或歧视性模型,并容易受到不平衡的集群。为了解决这些缺点,我们提出了一类新的凸松弛,可以灵活地应用到更一般形式的Bregman发散聚类。通过基于这些新的配方规范化的等价关系,我们保留了额外的控制松弛质量,这使得聚类质量的改善。此外,我们开发的优化方法,提高可扩展性,利用最近的隐式矩阵范数方法。在实践中,我们发现新的配方能够有效地产生更紧密的聚类,提高了最先进的方法的准确性。
2013-09-26 cs.LG stat.ML
Weighted total variation based convex clustering
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
数据聚类是一个有着广泛应用的基本问题。标准方法,例如$k$ -均值方法,通常需要求解非凸优化问题。最近,基于全变差的凸松弛到$k$ -均值模型已成为数据聚类的一个有吸引力的替代方案。然而,现有的结果,其确切的聚类性质,即施加在数据上的条件,使该方法可以证明地给出正确的识别所有的集群成员,是只适用于非常具体的数据,也是更多的限制比其他一些方法。针对基于全变差的凸聚类问题,提出了一种加权$\ell_1$范数和相关凸模型.本文所建立的精确聚类性质,在确定性和概率背景下,适用于一般数据,比现有的结果更尖锐。这些结果为推进凸聚类的研究提供了很好的启示。实验结果表明,与传统的聚类方法相比,本文提出的凸模型具有更好的经验性能,在实际应用中具有一定的潜力。
2018-08-28 cs.LG math.OC stat.ML
Affinity Graph Connectivity in Convex Clustering
Department of Statistical Science, Duke University(杜克大学统计科学系);Department of Biostatistics, University of California Los Angeles(加州大学洛杉矶分校生物统计学系)
研究凸聚类中亲和权重对应一般连通图时的有限样本界,通过随机游走理论分析聚类性能与图结构连通性的关系,并提出超参数调优应包括亲和权重的调整。
2026-05-23 cs.LG stat.ML
Convex Hierarchical Clustering for Graph-Structured Data
Stanford University(斯坦福大学)
凸聚类是一个最近稳定的替代层次聚类。它制定了逐步合并集群的恢复作为一个正规化的凸问题。虽然凸聚类最初是为了处理数据点之间的欧氏距离而设计的,但在越来越多的应用中,数据直接由相似性矩阵或加权图来表征。在本文中,我们扩展了强大的层次聚类方法,这些更广泛的类的相似性。在定义了一个适当的凸目标之后,这种适应的关键在于我们能够提供:(a)正则化路径的有效恢复和(b)使用我们方法的经验证明。我们通过一个近端对偶算法解决第一个挑战,为此我们描述了一组实验的理论效率和经验性能。最后,我们强调了我们的方法的潜力,通过展示其应用到几个现实生活中的数据集,从而提供了一个自然的扩展到当前的凸聚类的应用范围。
2019-12-11 cs.LG stat.AP stat.ML
A New Framework for Convex Clustering in Kernel Spaces: Finite Sample Bounds, Consistency and Performance Insights
Indian Statistical Institute, Kolkata(印度统计研究院,加尔各答);Electronics and Communication Sciences Unit, Indian Statistical Institute(印度统计研究院电子与通信科学单位);Department of Statistics, University of Oxford(牛津大学统计系);Department of Statistics, University of Michigan(密歇根大学统计系)
本文提出核化凸聚类方法,通过映射数据到RKHS空间,解决线性不可分和非凸数据的聚类问题,理论分析和实验验证显示其优于现有方法。
2026-05-14 cs.LG stat.ML
Twoblock clustering trees with coskewness-based dimension reduction: recovering piecewise multivariate linear regimes
Snow Stallion AI;University of Antwerp(安特卫普大学)
介绍用于多元响应的双块聚类树,它是含局部多元线性模型叶子的确定性决策树,用双块降维,计算高效且可解释。还引入基于协偏度的降维空间估计器,能恢复分段线性模式,可与黑箱技术媲美,模型各部分可检查解释。
2026-10-09 stat.ME stat.ML
Convex Clustering: Model, Theoretical Guarantee and Efficient Algorithm
The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
聚类是无监督学习中的一个基本问题。像K-means这样的流行方法可能会表现不佳,因为它们容易陷入局部最小值。最近,在Pelckmans等人(2005)、Lindsten等人(2011)和Hocking等人(2011)中提出了范数和(SON)模型(也称为聚类路径)。具有均匀加权所有成对差异正则化的凸聚类模型的完美恢复特性已由Zhu et al.(2014)和Panahi et al.(2017)证明。然而,一般的加权凸聚类模型,其中更好的经验结果已被观察到,没有理论上的保证。在数值优化方面,虽然已经提出了交替方向乘法(ADMM)和交替最小化算法(AMA)等算法来解决凸聚类模型(Chi和Lange,2015),但解决大规模问题仍然非常具有挑战性。本文建立了一般加权凸聚类模型的完全恢复保证的充分条件,作为特例包含和改进了已有的理论结果。此外,我们开发了一个半光滑牛顿的增广拉格朗日方法来解决大规模的凸聚类问题。模拟和真实数据的大量数值实验表明,我们的算法是高效和强大的解决大规模问题。此外,数值结果也显示了优越的性能和可扩展性,我们的算法相比,现有的一阶方法。特别地,我们的算法能够在大约6分钟内解决$\mathbb{R}^3$中具有200,000个点的凸聚类问题。
2018-10-04 cs.LG math.OC stat.ML
Splitting Methods for Convex Bi-Clustering and Co-Clustering
协同聚类是同时识别数据集多个方面的聚类的问题,是聚类到高阶结构化数据的自然概括。最近的双聚类和张量共聚类的凸公式,使用凸融合惩罚将估计的质心缩小到一起,允许全局最优性保证和精确的理论分析,但它们的计算特性研究得不那么好。在本文中,我们提出了三种有效的算子分裂方法的凸联合聚类问题:一个标准的两块ADMM,一个广义ADMM,避免了昂贵的张量Sylvester方程的原始更新,和三块ADMM的基础上的操作分裂计划的戴维斯和尹。理论复杂性分析表明,实验证据证实,广义ADMM是更有效的大型问题。
2019-07-08 stat.CO stat.ML
Convex Programming Based Spectral Clustering
Shizuoka University(静冈大学)
聚类是数据分析中的一项基本任务,谱聚类是一种很有前途的聚类方法。给定一个描述数据之间关系的图,谱聚类分两个阶段探索潜在的聚类结构。第一阶段将图的节点嵌入到真实空间中,第二阶段将嵌入的节点分组到几个簇中。在分组阶段使用$k$ -均值方法是目前的标准做法。我们提出了一个谱聚类算法,在分组阶段使用凸规划,并研究它的工作原理。该算法基于以下观察而设计。如果一个图是良好的聚类,那么每个簇中度最大的节点可以通过计算嵌入真实空间中的节点的封闭椭球来找到,并且可以通过使用这些节点来识别簇。我们表明,良好的聚类图,该算法可以找到集群的节点具有最小的电导。我们还给出了一个实验评估算法的性能。
2020-12-22 cs.LG stat.ML
Dynamic Visualization and Fast Computation for Convex Clustering via Algorithmic Regularization
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
凸聚类是一种很有前途的新方法,聚类的经典问题,结合了强大的性能,在实证研究和严格的理论基础。尽管有这些优点,凸聚类还没有被广泛采用,由于其计算密集的性质和缺乏令人信服的可视化。为了解决这些障碍,我们引入了正则化,这是一种创新技术,用于使用迭代一步近似方案获得正则化路径的高质量估计。我们证明我们的方法与一个新的理论结果,保证全局收敛的近似路径下容易检查的非数据依赖的假设下的精确解。将算法正则化应用到凸聚类中,产生了用于计算聚类解路径的凸聚类算法CARP(Convex Clustering via Acromic Regularization Paths)。在基因组学和文本分析的示例数据集上,CARP提供了比现有方法快100倍的速度,同时获得了比标准方法更精细的近似网格。此外,CARP能够改进聚类解决方案的可视化:CARP返回的精细解决方案网格可用于构建基于凸聚类的树状图,并形成基于现代Web技术的动态路径可视化的基础。我们的方法在开源R包clustRviz中实现,可在https://github.com/DataSlingers/clustRviz上获得。
2019-07-08 cs.LG stat.CO stat.ME
Clustering using Max-norm Constrained Optimization
University of Texas at Austin(德克萨斯大学奥斯汀分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们建议使用最大范数作为凸代理约束聚类。我们展示了如何产生一个更好的准确的集群恢复保证比以前建议的核范数松弛,并研究我们的方法的有效性,和其他相关的凸松弛,相比其他聚类方法。
2012-04-13 cs.LG stat.ML
Interpolating Convex and Non-Convex Tensor Decompositions via the Subspace Norm
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们考虑的问题,恢复低秩张量从其噪声观测。先前的工作已经示出了用于通过递归展开恢复大小为$n\times \cdots \times n$的$K$阶秩一张量的具有信噪比$O(n^{\lceil K/2 \rceil /2})$的恢复保证。在本文中,我们首先通过一个更简单的方法,但更仔细的分析,将这个界限改进为$O(n^{K/4})$。然后,我们提出了一个新的范数称为子空间范数,这是基于所提出的简单估计得到的因子的克罗内克积。强加的Kronecker结构使我们能够显示出一个近乎理想的$O(\sqrt{n}+\sqrt{H^{K-1}})$界,其中参数$H$控制从非凸估计到模式核范数最小化的混合。此外,我们的经验表明,子空间范数达到接近理想的去噪性能,即使与$H=O(1)$。
2015-10-27 cs.AI cs.LG stat.ML
Simultaneous Grouping and Denoising via Sparse Convex Wavelet Clustering
University of Florida Informatics Institute(佛罗里达大学信息学研究所);Rice University(莱斯大学)
聚类是数据科学和信号处理中普遍存在的问题。在我们观察噪声信号的许多应用中,通常的做法是首先对数据进行降噪,可能使用小波降噪,然后应用聚类算法。在本文中,我们开发了一种稀疏凸小波聚类方法,同时去噪和发现群体。我们的方法利用凸融合的罚款,以实现凝聚和组稀疏的罚款去噪,通过稀疏在小波域。与通常的去噪然后聚类的做法相反,我们的方法是一个统一的,凸的方法,同时执行。我们的方法产生去噪(小波稀疏)聚类质心,既提高了可解释性和数据压缩。我们证明了我们的方法在合成的例子和NMR光谱的应用。
2021-03-04 cs.LG eess.SP stat.ME
Deep generative demixing: Recovering Lipschitz signals from noisy subgaussian mixtures
生成神经网络(GNN)因有效地捕捉自然图像中的内在低维结构而闻名。在这里,我们研究了两个Lipschitz信号的亚高斯解混问题,GNN解混是一种特殊情况。在去混合中,人们寻求在给定两个信号的和和先前的结构信息的情况下识别两个信号。在这里,我们假设每个信号都位于Lipschitz函数的范围内,其中包括许多流行的GNN作为特例。我们证明了接近最优恢复误差的样本复杂度界,该复杂度界将Bora等人(2017)的最新结果从高斯矩阵的压缩感知设置扩展到亚高斯矩阵的解混。在信号位于凸集的线性信号模型下,McCoy & Tropp(2014)描述了亚高斯混合下识别的样本复杂度。在本设置中,信号结构不需要是凸的。例如,我们的结果适用于一个域,这是一个非凸联盟的凸锥。我们使用训练的GNN进行数值模拟,支持这种分层模型的有效性,提出了一种算法,这将是进一步理论研究的有趣对象。
2020-10-13 cs.IT math.IT stat.ML
Clustering of Data with Missing Entries using Non-convex Fusion Penalties
University of Iowa(爱荷华大学)
数据中缺失条目的存在常常给模式识别算法带来挑战。传统的数据聚类算法假设每个数据点的所有特征值都是已知的。我们提出了一种方法来聚类数据中存在的缺失信息。不像传统的聚类技术,每个特征是已知的每个点,我们的算法可以处理的情况下,一些特征值是未知的每个点。对于这个更具挑战性的问题,我们提供了理论上的保证聚类使用$\ell_0$融合惩罚为基础的优化问题。此外,我们提出了一个算法来解决这个问题的松弛使用饱和非凸融合处罚。据观察,该算法产生的解决方案,随着丢失的特征值的分数的增加逐渐退化。我们使用模拟数据集,葡萄酒数据集和欠采样的心脏MRI数据集证明了所提出的方法的实用性。结果表明,该方法是一种很有前途的聚类技术,数据集与大部分的缺失条目。
2017-09-06 cs.CV cs.LG stat.ML
Convex Subspace Clustering by Adaptive Block Diagonal Representation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
子空间聚类是一类被广泛研究的聚类方法,其中谱型方法是其重要的子类。其关键的第一步是期望学习具有块对角结构的表示系数矩阵。为了实现这一步,通过对系数矩阵施加不同的结构先验,相继提出了许多方法。这些强制措施大致可分为两类,即,间接和直接。前者通过引入稀疏性和低秩性等先验知识,间接或隐式地学习块对角结构。然而,所需的块对角不一定能保证噪声数据。而后者直接或显式地施加块对角结构先验,如块对角表示(BDR),以确保所需的块对角性,即使数据是有噪声的,但代价是失去了凸性,前者的目标。为了弥补它们各自的不足,本文沿着直接的路线提出了自适应块对角表示(ABDR),它明确地追求块对角性而不牺牲间接块对角性的凸性。具体来说,受Convex BiClustering的启发,ABDR通过一个特殊设计的凸正则化器将系数矩阵的列和行进行融合,从而自然地享受它们的优点并自适应地获得块的数量。最后,合成和真实基准测试的实验结果证明了ABDR相对于最新技术(SOTA)的优越性。
2022-05-09 cs.LG stat.ML
Multilayer Spectral Graph Clustering via Convex Layer Aggregation
University of Michigan(密歇根大学)
多层图通常用于表示实体之间的不同关系并处理异构数据处理任务。新的挑战出现在多层图聚类分配集群到一个共同的多层节点集,并结合来自每一层的信息。提出了一种基于凸层聚合的多层谱图聚类算法。根据一种新的多层信号加噪声模型,我们提供了一个相变分析,建立了一个临界值的存在,允许可靠的集群分离的噪声水平。该分析还指定临界值的分析上限和下限,其中当聚类具有相同的大小时,界限变得精确。在合成多层图上进行了数值实验,验证了相变分析,并研究了层权值和噪声水平对聚类可靠性的影响。
2016-09-23 cs.LG cs.SI stat.ML
The Why and How of Convex Clustering
School of Statistics, University of Minnesota(明尼苏达大学统计学院);Division of Computational Health Sciences, University of Minnesota(明尼苏达大学计算健康科学部)
本文综述了凸聚类方法,探讨其基于凸优化的无虚假局部极小值、全局极小化器稳定等特性,并提供了理论直觉、实用指导、算法计算成本及广泛应用的灵活性。
2025-09-18 stat.ME stat.ML
Clustered Gaussian Graphical Model via Symmetric Convex Clustering
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
神经元功能分组的知识可以揭示神经回路的结构,并且在许多类型的神经影像学研究中是有价值的。然而,通过受控实验准确确定哪些神经元执行类似的神经学任务既劳动密集型又大规模昂贵。因此,以数据驱动的方式将具有相似连接性配置文件的神经元聚类为功能一致的组是非常有趣的。在这项工作中,我们提出了聚类高斯图形模型(GGM)和一个新的对称凸聚类惩罚在一个统一的凸优化框架推断神经元之间的功能集群从神经活动数据。采用可并行化的多块交替方向乘子法(ADMM)算法求解相应的凸优化问题。此外,我们建立的ADMM算法的收敛保证。在合成数据和真实世界神经科学数据上的实验结果证明了我们方法的有效性。
2019-05-30 cs.LG stat.ME stat.ML
Multi-task learning via robust regularized clustering with non-convex group penalties
Graduate School of Mathematics, Kyushu University(九州大学大学院数理学府);Faculty of Mathematics, Kyushu University(九州大学数理学部)
针对多任务学习中忽略异常任务的问题,提出MTLRRC方法,结合鲁棒正则化聚类与非凸组惩罚,实现鲁棒任务聚类与异常检测,并通过模拟和实际数据验证其有效性。
2024-05-27 cs.LG stat.ME stat.ML
Convex Covariate Clustering for Classification
聚类,像协变量选择分类,是压缩和解释数据的重要步骤。然而,协变量的聚类通常是独立于分类步骤执行的,这可能导致不期望的聚类结果,损害可解释性和压缩率。因此,我们提出了一种方法,可以聚类协变量,同时考虑到样本的类标签信息。我们制定的问题作为一个凸优化问题,它使用的协变量之间的先验相似性信息,并从类标记的样本的信息。与普通的凸聚类一样[Chi和Lange,2015],所提出的方法提供了一个独特的全局最小值,使其对初始化不敏感。为了解决凸问题,我们提出了一个专门的交替方向的乘法器(ADMM),它的规模高达几千个变量。此外,为了避免计算昂贵的交叉验证,我们提出了一个模型选择标准的基础上近似的边缘似然。合成和真实数据上的实验证实了所提出的聚类方法和选择标准的有效性。
2020-04-07 stat.CO stat.ME stat.ML
Convex Clustering Redefined: Robust Learning with the Median of Means Estimator
Indian Statistical Institute, Kolkata(印度统计研究院,科希马);Department of Statistics and Data Science, University of Texas at Austin(德克萨斯大学奥斯汀分校统计与数据科学系);Electronics and Communication Sciences, Indian Statistical Institute, Kolkata(印度统计研究院,科希马电子与通信科学);Department of Statistics, University of Oxford(牛津大学统计系);Department of Statistics, University of Michigan(密歇根大学统计系)
针对凸聚类处理高维数据、噪声异常值及依赖簇数先验的问题,提出结合均值中位数估计器的鲁棒方法,无需簇数先验且抗异常值,理论证明弱一致性,实验显示性能优于现有方法。
2025-11-12 cs.LG math.ST stat.CO
Clustering by Orthogonal NMF Model and Non-Convex Penalty Optimization
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Minnesota(明尼苏达大学);University of Southern California(南加州大学)
在因子矩阵上附加正交约束的非负矩阵分解(NMF)模型(称为正交NMF(ONMF))是一种很有前途的聚类模型,其性能优于经典的K-means算法。然而,求解ONMF模型是一个具有挑战性的优化问题,因为正交性和非负性约束的耦合由于变量的正确状态(正或零)的确定而将混合组合方面引入问题。大多数现有的方法直接处理的正交约束在其原始形式通过各种优化技术,但不可扩展的大规模问题。在本文中,我们提出了一个新的ONMF的聚类公式,等价地转换成一组基于范数的非凸等式约束的正交约束。然后,我们应用非凸惩罚(NCP)的方法将它们添加到目标作为惩罚项,从而导致一个有效可解的问题。分别研究了一种光滑罚函数和一种非光滑罚函数。我们为惩罚问题建立了理论条件,为基于ONMF的聚类问题提供了可行的静态解,并提出了解决两种NCP方法的惩罚问题的有效算法。基于合成和真实数据集的实验结果表明,所提出的NCP方法是计算时间效率,并匹配或优于现有的K-means和ONMF的方法在聚类性能。
2021-07-28 cs.LG stat.ML
Multilayer Spectral Graph Clustering via Convex Layer Aggregation: Theory and Algorithms
多层图通常用于表示实体之间的不同关系并处理异构数据处理任务。需要非标准的多层图聚类方法来将聚类分配给公共多层节点集并组合来自每个层的信息。本文提出了一种多层谱图聚类(SGC)框架,执行凸层聚合。在多层信号加噪声模型下,给出了聚类可靠性的相变分析。此外,我们使用的相变准则,提出了一个多层迭代模型顺序选择算法(MIMOSA)的多层SGC,该算法具有自动聚类分配和层权重自适应,并提供统计聚类可靠性保证。对合成多层图的数值模拟验证了相变分析,对真实多层图的实验表明MIMOSA具有竞争力或优于其他聚类方法。
2017-08-08 cs.SI stat.ML
Admissible Hierarchical Clustering Methods and Algorithms for Asymmetric Networks
Stanford University(斯坦福大学);Ohio State University(俄亥俄州立大学);University of Pennsylvania(宾夕法尼亚大学)
本文的特点是遵守两个先前介绍的公理-因此,命名为容许的方法-层次聚类方法,并提出了易于处理的算法,其实现。我们利用的事实是,对于非对称网络,每一个允许的方法必须包含在互惠和非互惠聚类之间,并描述了三个家庭的中间方法。嫁接方法在由不同的容许方法生成的树状图之间交换分支。凸组合族通过树状图空间中的凸运算将容许方法组合在一起;第三,半互反族将网络中由强循环影响相关的节点聚类。算法计算的层次集群所产生的互惠和非互惠聚类,以及嫁接,凸组合,半互惠家庭使用矩阵运算的dioid代数。最后,介绍了聚类方法和算法的例子,通过他们的应用程序,以描述美国(U.S.)部门之间的相互关系的网络。经济
2016-07-21 cs.LG stat.ML
Integrative Generalized Convex Clustering Optimization and Feature Selection for Mixed Multi-View Data
在混合多视图数据中,在同一组样本上测量多组不同的特征。通过整合所有可用的数据源,我们试图发现可能隐藏在一个单一的数据视图的个人主义集群分析的样本之间的共同的组结构。虽然这种综合聚类的几种技术已被探索,我们提出并开发了一个凸形式化,将继承强大的统计,数学和经验性质的日益流行的凸聚类方法。具体来说,我们的综合广义凸聚类优化(iGecco)方法采用不同的凸距离,损失,或分歧的每个不同的数据视图与联合凸融合惩罚,导致共同的群体。此外,当每个数据源都是高维的时,集成混合多视图数据通常具有挑战性。为了在这种情况下进行特征选择,我们开发了一种自适应的移位组套索惩罚,通过将其缩小到特定的损失中心来选择特征。我们所谓的iGecco+方法从每个数据视图中选择最适合确定组的特征,通常会导致改进的综合聚类。为了适应我们的模型,我们开发了一种新型的广义多块ADMM算法,使用子问题近似,更有效地适合我们的大数据集模型。通过文本挖掘和基因组学的一系列数值实验和真实数据示例,我们表明iGecco+对于高维混合多视图数据具有优异的经验性能。
2019-12-11 stat.ME stat.ML
Provable Convex Co-clustering of Tensors
聚类分析是复杂异构数据模式发现的基本工具。流行的聚类方法主要集中在向量或矩阵变量数据,不适用于一般阶张量,这在现代科学和商业应用中经常出现。此外,由于其非凸公式的性质,现有的张量聚类解决方案的统计保证和计算效率之间存在差距。在这项工作中,我们通过开发一个可证明的张量共聚类凸公式来弥合这一差距。我们的凸共聚类(CoCo)估计享有稳定性保证,其计算和存储成本是多项式的数据的大小。我们进一步建立了一个非渐近误差界的CoCo估计,这揭示了一个令人惊讶的“祝福的维度”的现象,不存在于向量或矩阵变量聚类分析。我们的理论研究结果得到了广泛的模拟研究的支持。最后,我们将CoCo估计应用于一家大型在线公司的广告点击张量数据的聚类分析。我们的聚类结果提供了有意义的商业见解,以提高广告效果。
2020-10-23 stat.AP stat.CO stat.ME
Recovering linear images of sparse signals from indirect observations
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出从间接含噪观测中恢复稀疏信号线性像的方法,基于ℓ1最小化,不依赖对感知矩阵的特殊假设,通过凸优化高效计算估计参数与风险上界。
2026-09-09 cs.IT cs.LG math.IT
Robust Hypergraph Clustering via Convex Relaxation of Truncated MLE
KAIST(韩国科学技术院)
研究了加权$d$ -均匀超图随机块模型($d$ \textsf{-WHSBM})中的超图聚类问题,其中由来自同一社区的$d$节点组成的每条边比由来自不同社区的节点组成的每条边具有更高的期望权值.我们提出了一个新的超图聚类算法,称为\textsf{CRTMLE},并提供其性能保证下的$d$ \textsf{-WHSBM}一般参数制度。我们表明,该方法实现了顺序明智的最佳或现有的最佳结果近似平衡的社区规模。此外,我们的研究结果解决了第一个恢复保证越来越多的集群的不平衡的大小。通过理论分析和实验结果,我们证明了我们的算法对社区规模的不平衡性或离群节点的存在的鲁棒性。
2020-11-16 cs.IT cs.LG math.IT
Splitting Methods for Convex Clustering
Rice University(莱斯大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出两种分裂方法(ADMM和AMA)求解凸聚类问题,其中AMA在复杂度和数值实验中更高效。
2014-03-18 cs.NA math.NA math.OC
LogDet Rank Minimization with Application to Subspace Clustering
Southern Illinois University(南伊利诺伊大学);University of Hawaii at Hilo(夏威夷大学希洛分校)
低秩矩阵是许多机器学习和计算机视觉问题所需要的。最近的研究大多使用核范数作为秩算子的凸替代。然而,所有奇异值都是简单地通过核范数加在一起,因此在实际问题中可能无法很好地近似秩。在本文中,我们建议使用一个对数行列式(LogDet)函数作为一个光滑和更接近,虽然非凸,近似秩获得低秩表示子空间聚类。采用增广拉格朗日乘子策略迭代优化基于LogDet的非凸目标函数。利用低秩表示的主方向的角度信息,构造了一个用于谱聚类的亲和图矩阵。运动分割和人脸聚类数据的实验结果表明,该方法往往优于国家的最先进的子空间聚类算法。
2015-07-03 cs.CV cs.LG stat.ML
Clustering Partially Observed Graphs via Convex Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);National University of Singapore(新加坡国立大学)
本文考虑了部分可观察的无权图的聚类问题,即,其中对于一些节点对,我们知道它们之间存在边,对于另一些节点对,我们知道没有边,而对于其余的节点对,我们不知道是否存在边。我们希望将节点组织到不相交的集群中,以便集群内有相对密集的(观察到的)连接性,而集群之间的连接性相对稀疏。我们采取了一种新颖而自然的方法来解决这个问题,通过集中精力寻找最小化“分歧”数量的聚类,即,簇内(观察到的)缺失边缘的数量和跨簇(观察到的)当前边缘的数量之和。我们的算法使用凸优化;其基础是将不一致最小化简化为从部分观察到的和恢复(未知)低秩矩阵和(未知)稀疏矩阵的问题。我们评估我们的算法在经典的种植分区/随机块模型的性能。我们的主要定理提供了充分条件,我们的算法作为一个函数的最小集群大小,边缘密度和观测概率的成功,特别是,结果表征观测概率和边缘密度差距之间的权衡。当有一个恒定数量的集群大小相等,我们的结果是最佳的对数因子。
2014-07-24 cs.LG stat.ML
Constrained fractional set programs and their application in local clustering and community detection
Saarland University(萨尔大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
集合函数比的(约束)最小化是聚类和社区检测中经常出现的问题。由于这些优化问题通常是NP难的,因此在实践中使用凸或谱松弛。虽然这些松弛可以全局最优地解决,但它们往往过于松散,从而导致结果远离最优。在本文中,我们表明,每一个约束的非负集函数的比例最小化问题允许一个紧松弛成一个无约束的连续优化问题。这一结果导致一个灵活的框架,解决网络分析中的约束问题。虽然不能保证所产生的非凸问题的全局最优解,但在约束局部聚类问题上,我们的表现优于宽松的凸或谱松弛。
2013-06-14 cs.LG math.OC stat.ML
Precise Phase Transition of Total Variation Minimization
Worcester Polytechnic Institute(伍斯特理工学院);University of Iowa(爱荷华大学)
在压缩感知、机器学习和统计学中,表征结构化信号或数据恢复中凸优化的相变是至关重要的。通过近年来的研究,人们对$\ell_1$最小化和核范数最小化等凸优化信号恢复方法的相变有了很好的理解。然而,严格地描述恢复稀疏梯度信号的总变差(TV)最小化的相变仍然是开放的。在本文中,我们充分刻画了相变曲线的TV最小化。我们的证明建立在Donoho,Johnstone和Montanari的电视近似消息传递算法(AMP)的固定相变曲线上,以及去噪问题的最小均方误差和电视最小化的高维凸几何之间的联系。
2015-09-15 cs.IT cs.LG math.IT
Supervised Convex Clustering
聚类长期以来一直是一种流行的无监督学习方法,用于识别相似对象的组,并在许多应用中从未标记的数据中发现模式。然而,由于其无监督的性质,对估计的聚类进行有意义的解释往往具有挑战性。同时,在许多现实世界的场景中,有一些嘈杂的监督辅助变量,例如,主观诊断意见,这与未标记数据的观测异质性有关。通过利用来自监督辅助变量和未标记数据的信息,我们试图发现可能被完全无监督分析隐藏的更科学的可解释的群体结构。在这项工作中,我们提出并开发了一种新的统计模式发现方法,称为监督凸聚类(SCC),它从两个信息源中借用力量,并通过联合凸融合惩罚来指导寻找更可解释的模式。我们开发了几个扩展SCC整合不同类型的监督辅助变量,调整额外的协变量,并找到biclusters。我们通过模拟和阿尔茨海默病基因组学的案例研究证明了SCC的实际优势。具体来说,我们发现了新的候选基因以及阿尔茨海默病的新亚型,这可能会导致更好地理解导致老年人认知能力下降异质性的潜在遗传机制。
2020-05-25 stat.ME stat.ML
Fitting Sparse Markov Models to Categorical Time Series Using Convex Clustering
本文提出一种基于凸聚类和正则化的稀疏马尔可夫模型拟合方法,通过BIC选择正则化参数,并证明其模型选择一致性,模拟和疾病亚型分类实证验证了方法的有效性。
2025-07-02 stat.ME stat.ML
Multi-Task Learning Regression via Convex Clustering
针对分组融合正则化会跨聚类迁移信息的问题,提出引入质心参数、分离回归与聚类参数的多任务回归方法,并通过模拟和真实数据验证其精度提升。
2023-04-26 stat.ME stat.ML
Square Deal: Lower Bounds and Improved Relaxations for Tensor Recovery
Columbia University(哥伦比亚大学)
从不完全信息中恢复低秩张量是信号处理和机器学习中经常遇到的问题。最流行的凸松弛这个问题的最小化的总和核范数的张量展开。我们表明,这种方法可以是基本上次优的:可靠地恢复$K$ -方式张量的长度$n$和塔克秩$r$从高斯测量需要$Ω(r n^{K-1})$的意见。相比之下,某个(难以处理的)非凸公式只需要$O(r^K + nrK)$观测。我们引入了一个非常简单的,新的凸松弛,部分弥合这一差距。我们的新公式成功地与$O(r^{\lfloor K/2 \rfloor}n^{\lceil K/2 \rceil})$观测。虽然这些结果与高斯测量有关,但模拟强烈表明,新的范数也优于来自随机条目子集的张量完成的核范数之和。我们的核范数和模型的下限来自于恢复具有多个稀疏结构(例如稀疏,低秩)的信号的新结果,这可能令人惊讶地证明了通过最小化单个稀疏诱导范数(例如$l_1$,核范数)的和的常用恢复方法的显着次优性。然而,我们的低秩张量恢复的新公式打开了通过联合利用几种结构来降低样本复杂性的可能性。
2013-08-15 cs.LG stat.ML
Central Description Length (CDL) Clustering Validation Index
Toronto Metropolitan University(多伦多 Metropolitan 大学)
提出中心描述长度(CDL)聚类验证指标,通过计算不可观测真实聚类中心描述长度的概率上界来评估聚类质量,无需标签且适用于非凸和不规则形状数据。
2026-06-02 cs.LG eess.SP stat.ML
Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification
Michigan Technological University(密歇根理工大学)
最近邻图拉普拉斯矩阵的特征分解是谱聚类算法的主要计算瓶颈。在这项工作中,我们引入了一个高度可扩展的,频谱保持的图稀疏化算法,使建立超稀疏NN(u-NN)图与保证保留的原始图频谱,如原始图拉普拉斯算子的前几个特征向量。我们的方法可以立即导致可扩展的谱聚类的大型数据网,而不牺牲解决方案的质量。所提出的方法从构建低拉伸生成树(LSST)从原始图,然后通过利用频谱离树嵌入方案迭代地恢复小部分的“频谱关键”离树边缘到LSST。为了确定合适数量的离树边缘恢复到LSST,提出了一种特征值稳定性检查方案,该方案能够鲁棒地保留稀疏图内的前几个拉普拉斯特征向量。此外,提出了一种增量图致密化方案,用于识别原始NN图中缺失但仍能在谱聚类任务中发挥重要作用的额外边缘。我们的实验结果表明,各种知名的数据集,该方法可以显着降低NN图的复杂性,导致显着的加速谱聚类。
2018-10-11 cs.AI cs.LG stat.ML
Matching Image Sets via Adaptive Multi Convex Hull
University of Queensland(昆士兰大学);NICTA;Queensland University of Technology(昆士兰科技大学)
传统的最近点方法使用图像集中的所有样本来构造单个凸壳或仿射壳模型进行分类。然而,当在图像集中出现显著的类内变化和/或噪声时,可以从训练样本的组合生成强人工特征和噪声数据。现有的多模型方法通过对每个图像集单独聚类一次来提取局部模型,固定的聚类用于与不同的图像集进行匹配。这可能不是最佳的歧视,因为不理想的环境条件(如。照明和姿态变化)可以导致表示对象的不同特性的两个最接近的聚类(例如,正面脸与非正面脸比较)。为了解决上述问题,我们提出了一种新的方法,以提高最近点的方法集成仿射/凸包分类与适应多模型的方法。我们首先从一个查询图像集合中提取多个局部凸包,通过最大间距聚类来减少人为变化,并约束局部凸包中的噪声。然后,我们提出了自适应参考聚类(ARC)约束聚类的每个画廊图像集,迫使集群有相似的查询图像集中的集群。通过应用ARC,可以丢弃查询集中的噪声聚类。在Honda、MoBo和ETH-80数据集上的实验表明,该方法的性能优于单模型方法和其他最近的技术,如稀疏近似最近点、互子空间方法和流形判别分析。
2014-03-03 cs.CV stat.ML
Efficient Clustering for Stretched Mixtures: Landscape and Optimality
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
本文考虑了一个典型的聚类问题,其中一个接收未标记的样本从一个平衡的混合物的两个椭圆分布和目标的分类器来估计标签。许多流行的方法,包括PCA和k-means,都要求混合物的各个成分是球形的,当它们被拉伸时,性能很差。为了克服这个问题,我们提出了一个非凸的程序,寻求仿射变换,把数据变成一个一维的点云集中在$-1$和$1$,之后聚类变得容易。我们的理论贡献是双重的:(1)我们表明,非凸损失函数具有理想的几何性质时,样本量超过一些常数倍的尺寸,(2)我们利用这一点来证明,一个有效的一阶算法实现接近最佳的统计精度没有良好的初始化。我们还提出了一个通用的聚类方法与灵活的选择功能转换和损失的目标。
2021-11-27 cs.LG math.OC math.ST
Certifying Global Optimality of Graph Cuts via Semidefinite Relaxation: A Performance Guarantee for Spectral Clustering
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);University of California at Davis(加州大学戴维斯分校)
谱聚类已经成为一种最广泛使用的聚类技术,当单个聚类的结构是非凸的或高度各向异性的。然而,尽管它的巨大的普及,存在相当少的理论性能保证谱聚类。这个问题部分是由于谱聚类通常涉及两个步骤,这使得其理论分析变得复杂:首先,使用关联图Laplacian的特征向量来嵌入数据集,其次,将k-means聚类算法应用于嵌入的数据集以获得标签。本文介绍了谱聚类和图割的理论基础。我们考虑一个凸松弛的图割,即比率割和归一化割,这使得通常的两步谱聚类方法过时,并在同一时间产生了严格的理论分析图割和谱聚类。我们通过一个谱邻近条件,自然地依赖于每个集群的代数连接和集群间的连接,成功的谱聚类的确定性界限。此外,我们通过一些流行的例子证明,我们的界限可以达到近最优。我们的研究结果也是核k-means的理论理解的基础。数值模拟证实并补充了我们的分析。
2019-04-14 cs.IT cs.LG math.IT