Robust Dequantized Compressive Sensing
Department of Computer Sciences, University of Wisconsin - Madison, 1210 W. Dayton St., Madison, WI 53706-1685
我们考虑压缩感知中的重建问题，其中的观测记录在有限数量的比特。因此，它们可能包含量化误差（由于被舍入到最接近的可表示值）和饱和误差（由于在可表示值的范围之外）。我们的配方有一个加权$\ell_2$ - $\ell_1$型的目标，以及明确考虑量化和饱和误差的约束条件，并采用增广拉格朗日方法求解。我们证明了恢复的解决方案的一致性结果，强于那些已经出现在文献中，特别是显示，渐近一致性，可以得到没有过采样。我们提出了广泛的计算与先前提出的配方，及其变体的比较。
2013-10-10 cs.LG stat.ML
Possibility results for graph clustering: A novel consistency axiom
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）；University of Southampton（南安普顿大学）；Institute for Life Sciences, University of Southampton（南安普顿大学生命科学研究所）；The Alan Turing Institute（艾伦·图灵研究所）
Kleinberg介绍了三个自然的聚类属性，或公理，并表明它们不能同时满足任何聚类算法。我们提出了一个新的聚类属性，单调一致性，它避免了众所周知的问题行为的Kleinberg的一致性公理，和不可能的结果。也就是说，我们描述了一个聚类算法，莫尔斯聚类，灵感来自莫尔斯理论微分拓扑，它满足Kleinberg的原始公理与单调一致性取代。Morse聚类揭示了集合或图上的底层流结构，并返回表示关键顶点吸引盆的树的分区。我们还概括了克莱因伯格的公理化方法稀疏图，一致性的不可能的结果，单调一致性和莫尔斯聚类的可能性结果。
2022-04-03 cs.LG stat.ML
Clustering processes
INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧洲分所）
聚类的问题被认为是，当每个数据点是一个平稳遍历过程产生的样本的情况下。我们提出了一个非常自然的渐近概念的一致性，并表明，简单的一致的算法存在，在最一般的非参数假设。一致性的概念如下：当且仅当两个样本由相同的分布生成时，它们应该被放入同一个聚类中。有了这个一致性的概念，聚类概括了诸如同质性检验和过程分类之类的经典统计问题。我们表明，对于已知数量的集群的情况下，一致性可以实现的唯一假设下，数据的联合分布是平稳遍历（没有参数或马尔可夫假设，没有假设的独立性，既不是之间也不是样本内）。如果集群的数量是未知的，一致性可以实现在适当的假设下的混合速率的过程。（同样，没有参数或独立性假设）。在这两种情况下，我们给出了简单的例子（在每个参数最二次）算法是一致的。
2010-04-29 cs.IT cs.LG math.IT
Clustering processes
INRIA Lille-Nord Europe（法国里尔-北欧国家信息与自动化研究所）
聚类的问题被认为是，当每个数据点是一个平稳遍历过程产生的样本的情况下。我们提出了一个非常自然的渐近概念的一致性，并表明，简单的一致的算法存在，在最一般的非参数假设。一致性的概念如下：当且仅当两个样本由相同的分布生成时，它们应该被放入同一个聚类中。有了这个一致性的概念，聚类概括了诸如同质性检验和过程分类之类的经典统计问题。我们表明，对于已知数量的集群的情况下，一致性可以实现的唯一假设下，数据的联合分布是平稳遍历（没有参数或马尔可夫假设，没有假设的独立性，既不是之间也不是样本内）。如果集群的数量是未知的，一致性可以实现在适当的假设下的混合速率的过程。（同样，没有参数或独立性假设）。在这两种情况下，我们给出了简单的例子（在每个参数最二次）算法是一致的。
2013-04-30 cs.IT cs.LG math.IT
Consistency constraints for overlapping data clustering
Air Force Research Laboratory（空军研究实验室）；University of Pennsylvania（宾夕法尼亚大学）；Texas A&M University（德克萨斯A&M大学）
我们研究重叠的聚类方案与函约束，在卡尔松-梅莫利的精神。这避免了基于分区的方法所需的链接所引起的问题。我们的主要结果表明，任何聚类函子是自然约束，以改善单链接集群和最大链接集群。我们工作的背景下，度量空间与非扩张映射，这是适合建模的数据处理，不增加信息内容。
2016-08-15 cs.LG stat.ML
Strong Consistency of Prototype Based Clustering in Probabilistic Space
在本文中，我们制定了一般的方法来证明强一致性的经验风险最小化归纳原则适用于原型或基于距离的聚类。这种方法的动机是分裂的信息理论特征聚类模型在概率空间与库尔贝克-莱布勒散度，这可能被视为一个特殊的情况下，在聚类最小化框架。此外，我们提出了聚类正则化限制创建额外的集群，这些集群与现有集群相比并不重要或没有本质上的不同。
2010-04-19 stat.ML
Clustering by Hill-Climbing: Consistency Results
我们考虑几个爬山的聚类方法制定的福永和Hostetler在20世纪70年代。我们研究连续空间和离散空间（即，的变化，并建立它们的一致性。
2022-02-18 math.CA math.ST stat.ML
Consistency-aware and Inconsistency-aware Graph-based Multi-view Clustering
WASEDA University（早稻田大学）
由于多视图数据在机器学习应用中经常遇到，因此多视图数据分析越来越受欢迎。多视图聚类（MVC）是一种简单但有前途的多视图数据聚类方法，它已经得到了广泛的发展，通过学习跨多视图数据共享的潜在共同特征，将给定的主题分类到一些聚类组中。在现有的方法中，基于图的多视图聚类（GMVC）通过利用称为统一矩阵的共享图矩阵来实现最先进的性能。然而，现有的方法，包括GMVC不显式地解决输入图矩阵的不一致的部分。因此，它们受到不可接受的聚类性能的不利影响。为此，本文提出了一种新的GMVC方法，它包含了跨多个视图的一致和不一致的部分。该提案被指定为CI-GMVC。真实世界数据集的数值评估证明了所提出的CI-GMVC的有效性。
2020-11-25 cs.LG stat.ML
Beyond Looking Up, Try Looking Around: Harmonizing Global Structure and Local Consistency in Optimal Transport for Short Text Clustering
Harbin Engineering University, China.（哈尔滨工程大学）
针对现有最优传输方法在短文本聚类中忽视语义一致性的问题，提出新框架，设计实例级注意力机制并融入OT公式，获取兼顾语义一致性和全局结构信息的伪标签，提升短文本聚类效果，优于现有方法。
2026-07-14 cs.LG stat.ML
A variational approach to the consistency of spectral clustering
本文建立了数据聚类的谱方法的一致性。我们认为聚类的点云作为一个地面实况测量的样本。表示点云的图是通过基于它们连接的点之间的距离向边分配权重来获得的。我们研究了非规范化和规范化的图拉普拉斯算子在连续域中对相应算子的谱收敛性。我们得到尖锐的条件，如何连接半径可以缩放相对于频谱收敛的样本点的数量。我们还表明，通过谱聚类得到的离散集群收敛到一个连续的地面真值测量分区。这样的连续分区最小化的功能描述的连续模拟的基于图形的光谱分区。我们的方法，变分收敛的基础上，是通用的和灵活的。
2015-08-08 cs.LG math.ST stat.ML
Strong Consistency, Graph Laplacians, and the Stochastic Block Model
University of California at Davis（加州大学戴维斯分校）；New York University Shanghai（上海纽约大学）
谱聚类已经成为数据聚类和社区发现中最流行的算法之一。我们研究了经典的两步谱聚类的性能，通过图拉普拉斯学习随机块模型。我们的目标是回答以下问题：通过图拉普拉斯算子的谱聚类何时能够实现强一致性，即，隐藏社区的确切恢复情况我们的工作提供了一个entrywise分析（一个$\ell_{\infty}$ -范数扰动界）的非规范化和规范化的拉普拉斯算子与随机块模型采样的邻接矩阵相关联的菲尔德特征向量。我们证明了谱聚类是能够实现准确的恢复种植的社区结构的条件下，符合信息理论的限制。
2020-04-21 cs.LG cs.SI stat.ML
On consistency of constrained spectral clustering under representation-aware stochastic block model
Indian Institute of Science（印度科学学院）
谱聚类由于其灵活性、计算效率和良好的理论性能保证而在实践中得到广泛应用。最近，谱聚类已被研究，以找到平衡的集群人口水平的限制。这些约束由辅助分类节点属性形式的附加信息指定。在本文中，我们考虑的情况下，这些属性可能是不可观察的，但表现为一个辅助图的潜在特征。出于这一动机，我们研究约束谱聚类的目的是找到平衡的集群在一个给定的\textit{similarity graph} $\mathcal{G}$，这样每个人都充分表示相对于一个辅助图$\mathcal{R}$（我们称之为表示图）。我们提出了一个个人层面的平衡约束，形式化这个想法。我们的工作导致一个有趣的随机块模型，不仅植物给定的分区在$\mathcal{G}$，但也植物的辅助信息编码的表示图$\mathcal{R}$。在这种情况下，我们开发了谱聚类的非归一化和归一化变体。这些算法使用$\mathcal{R}$在$\mathcal{G}$中找到近似满足所提出的约束的聚类。我们还建立了第一个统计一致性结果的约束谱聚类下的个人水平的限制，从上述变体的随机块模型采样的图形。我们的实验结果证实了我们的理论发现。
2022-03-03 cs.LG stat.ML
On Convex Clustering Solutions
Kyoto University（京都大学）
凸聚类是一种有吸引力的聚类算法，由于其凸形式，具有良好的性能，如效率和最优性。它被认为是对k-means聚类和凝聚聚类的推广。然而，它是不知道是否凸聚类保留这些算法的理想属性。一个常见的期望是凸聚类可以学习困难的聚类类型，例如非凸聚类。目前对凸聚类的理解仅限于良好分离的聚类上的一致性结果。我们对它的解决方案有了新的理解。我们证明了凸聚类只能学习凸聚类。然后，我们表明，集群有不相交的边界球显着的差距。我们进一步刻画了解、正则化超参数、可包含情形和一致性。
2021-05-18 cs.LG stat.ML
Beyond Hartigan Consistency: Merge Distortion Metric for Hierarchical Clustering
层次聚类是一种流行的数据分析方法，它将树与数据集相关联。Hartigan一致性已被广泛用作从统计角度分析此类聚类算法的框架。尽管如此，正如我们在论文中所展示的，一棵与给定密度哈蒂根一致的树看起来可能与正确的极限树非常不同。具体来说，哈迪根一致性允许两种类型的不期望的配置，我们的术语过度分割和不正确的嵌套。此外，Hartigan一致性是一个极限性质，不能直接量化树之间的差异。在本文中，我们确定了两个极限属性，分离和极小，这两个地址过分割和不正确的嵌套，并一起意味着（但不意味着）哈迪根一致性。我们继续引入合并失真度量之间的层次聚类，并表明，在我们的距离收敛意味着分离和极小。我们还证明了一致分离和极小性意味着在合并失真度量收敛。此外，我们证明了我们的合并失真度量是稳定的扰动下的密度。最后，我们证明了这些概念的适用性，证明两个聚类算法的收敛结果。首先，我们展示了Chaudhuri和Dasgupta（2010）最近的鲁棒单链接算法的收敛性（以及分离性和最小性）。其次，我们提供收敛结果流形拓扑分裂树聚类。
2015-07-13 math.ST stat.ML stat.TH
Consistency of Constrained Spectral Clustering under Graph Induced Fair Planted Partitions
IBM Research（IBM研究院）；Indian Institute of Science（印度科学学院）
谱聚类在实践者和理论家中都很受欢迎。虽然谱聚类的性能保证是很好理解的，但最近的研究集中在集群中执行“公平性”，要求它们相对于分类敏感节点属性（例如，集群中的种族分布必须匹配种群中的种族分布）进行“平衡”。在本文中，我们考虑一个设置敏感属性间接体现在一个辅助\textit{representation graph}，而不是直接观察。该图指定可以相对于敏感属性彼此表示的节点对，并且除了通常的\textit{similarity graph}之外还观察到该节点对。我们的目标是在相似性图中找到聚类，同时尊重由表示图编码的新的个人级公平性约束。我们为此任务开发了非规范化和规范化谱聚类的变体，并在由表示图诱导的\emph{fair}种植分区模型下分析了它们的性能。该模型使用节点的簇成员关系和表示图的结构来生成随机相似图。据我们所知，这些是第一个一致性结果约束谱聚类下的个人水平的公平性约束。数值结果证实了我们的理论研究结果。
2022-09-24 cs.CY cs.LG stat.ML
Consistency of regularized spectral clustering in degree-corrected mixed membership model
China University of Mining and Technology（中国矿业大学）；Nankai University（南开大学）
网络分析中的社区发现是近年来的一个研究热点。在度校正混合隶属度（DCMM）模型下，提出了一种基于正则化拉普拉斯矩阵的混合正则化谱聚类（Mixed-RSC）方法.基于种群正则化Laplacian矩阵的特征分解的变体的理想锥结构，设计了混合RSC。我们证明了该算法是渐近一致的温和条件下，通过提供每个节点的推断成员向量的误差界。作为我们界限的副产品，我们提供了正则化参数τ的理论最佳选择。为了证明我们的方法的性能，我们将其与以前的基准方法一起应用于模拟和真实网络。据我们所知，这是第一个工作，设计的混合隶属度社区发现问题DCMM模型下的谱聚类算法的基础上应用正则化拉普拉斯矩阵。
2021-08-27 cs.LG cs.SI stat.ML
A New Framework for Convex Clustering in Kernel Spaces: Finite Sample Bounds, Consistency and Performance Insights
Indian Statistical Institute, Kolkata（印度统计研究院，加尔各答）；Electronics and Communication Sciences Unit, Indian Statistical Institute（印度统计研究院电子与通信科学单位）；Department of Statistics, University of Oxford（牛津大学统计系）；Department of Statistics, University of Michigan（密歇根大学统计系）
本文提出核化凸聚类方法，通过映射数据到RKHS空间，解决线性不可分和非凸数据的聚类问题，理论分析和实验验证显示其优于现有方法。
2026-05-14 cs.LG stat.ML
Consistency of Anchor-based Spectral Clustering
University of Edinburgh（爱丁堡大学）
基于锚点的技术降低了谱聚类算法的计算复杂度。虽然实证测试显示出有希望的结果，目前缺乏理论支持锚定的方法。我们定义了一个特定的锚为基础的算法，并表明它是经得起严格的分析，以及在实践中是有效的。我们在渐进环境中建立了该方法的理论一致性，其中数据是从底层连续概率分布中采样的。特别是，我们提供了尖锐的渐近条件的算法参数，以确保基于锚的方法可以恢复与高概率的不相交的集群，相互分离的正距离。我们说明了合成数据的算法的性能，并解释如何理论收敛分析可以用来通知参数缩放的实际选择。我们还测试了算法的准确性和效率在两个大规模的真实数据集。我们发现，该算法提供了明显的优势，标准谱聚类。我们还发现，它与Chen和Cai（2011年第25届AAAI人工智能会议）的最先进的LSC方法具有竞争力，同时具有一致性保证的额外好处。
2020-06-27 cs.LG math.ST stat.ML
Hierarchical Clustering Can Jointly Satisfy Richness, Consistency, and Scale Invariance
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）
本文证明层次聚类可同时满足尺度不变性、丰富性和一致性公理，构造了多种可容许方法，并揭示了其偏序结构中的多样性与共同主干。
2026-09-11 cs.LG stat.ME stat.ML
Compressive spectral embedding: sidestepping the SVD
UC Santa Barbara（加州大学圣巴巴拉分校）
基于奇异值分解（SVD）的谱嵌入是许多学习任务中广泛使用的“预处理”步骤，通常通过投影到多个主要奇异向量上并重新缩放坐标轴（通过奇异值的预定义函数）来实现降维。然而，捕获问题结构所需的此类向量的数量随着问题的大小而增长，甚至部分SVD计算也成为瓶颈。在本文中，我们提出了一个低复杂度的压缩频谱嵌入算法，它采用随机投影和有限阶多项式展开计算近似SVD为基础的嵌入。对于一个m × n矩阵，T个非零，其时间复杂度为O（（T+m+n）log（m+n）），嵌入维数为O（log（m+n）），这两个参数都与我们要捕获的奇异向量的个数无关。据我们所知，这是第一个工作，以规避这种依赖于奇异向量的数量一般SVD为基础的嵌入。避开SVD的关键是观察到，对于下游推理任务，如聚类和分类，我们只对使用结果嵌入来评估从欧几里德范数导出的成对相似性度量感兴趣，而不是像部分SVD试图做的那样捕捉基础矩阵对任意向量的影响。我们在网络数据集上的数值结果证明了所提出的方法的有效性，并激励进一步探索其应用于大规模推理任务。
2015-09-28 cs.LG stat.ML
Consistency of spectral clustering in stochastic block models
我们分析了随机块模型中谱聚类用于社区提取的性能。我们表明，在温和的条件下，谱聚类应用到网络的邻接矩阵可以始终恢复隐藏的社区，即使当最大期望度的顺序是小的$\log n$，与$n$的节点数。这一结果适用于一些流行的多项式时间谱聚类算法，并进一步扩展到度校正的随机块模型，使用球形$k$中值谱聚类方法。我们的分析的一个关键组成部分是一个组合的二进制随机矩阵的谱上的界，这是尖锐的比传统的矩阵伯恩斯坦不等式，可能是独立的利益。
2014-12-30 math.ST stat.ML stat.TH
Asymptotic Behavior of Mean Partitions in Consensus Clustering
Technische Universität Berlin（柏林工业大学）
虽然一致性是任何估计的最低要求，很少有人知道一致性的平均划分方法在共识聚类。本文研究了平均分拆的渐近行为。我们表明，在正常的假设下，平均划分方法是一致的和渐近正态的。为了得到这两个结果，我们将分区表示为称为轨道空间的几何空间的点。然后，我们借鉴的结果，从理论的Fréchet手段和随机规划。渐近性质的标准集群标准（指数）的连续扩展。结果证明共识聚类使用有限，但足够大的样本量。此外，轨道空间框架为进一步研究分区集的统计、几何和分析性质提供了数学基础。
2015-12-18 cs.LG stat.ML
Clustering consistency with Dirichlet process mixtures
Dirichlet过程混合模型是一种灵活的非参数模型，特别适合于密度估计和概率聚类。在这项工作中，我们研究的后验分布引起的Dirichlet过程的混合物作为样本量的增加，更具体地说，集中在一致性为未知数的集群时，观察到的数据是从一个有限的混合物。至关重要的是，我们考虑的情况下，事先放置在浓度参数的基础Dirichlet过程。文献中以前的研究结果表明，狄利克雷过程的混合物通常是不一致的集群的数量，如果浓度参数是固定的，数据来自有限的混合物。在这里，我们表明，如果浓度参数是适应在一个完全贝叶斯的方式，在实践中通常做的，可以实现集群的数量的一致性。我们的研究结果来自来自一类有限混合物的数据，温和的假设上的浓度参数和混合物的似然核的各种选择的先验。
2022-05-25 math.ST stat.ME stat.ML
Consistency and inconsistency in $k$-means clustering
Georgia Tech（佐治亚理工学院）；Columbia University（哥伦比亚大学）；UC Berkeley（加州大学伯克利分校）
本研究探讨k均值聚类的渐近一致性，发现有限期望假设下其一致性结论微妙，聚类不平衡会导致不一致，施加先验平衡可恢复部分一致性。
2026-08-14 math.PR math.ST stat.ML
Consistency for constrained maximum likelihood estimation and clustering based on mixtures of elliptically-symmetric distributions under general data generating processes
本文证明了非参数分布下基于椭圆对称分布混合的最大似然估计量的一致性，并为其在充分分离子总体聚类分析中的应用提供了理论依据。
2024-10-10 math.ST stat.ML stat.TH
Higher-Order Spectral Clustering for Geometric Graphs
Inria Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯分部）
本文主要研究几何图的聚类问题。虽然标准的谱聚类往往是无效的几何图形，我们提出了一个有效的推广，我们称之为高阶谱聚类。它在概念上类似于经典的谱聚类方法，但用于划分与高阶特征值相关联的特征向量。我们建立了一个广泛的一类几何图，我们称之为软几何块模型的算法的弱一致性。算法的小调整提供了强一致性。我们还表明，我们的方法是有效的数值实验，即使是适度的大小的图形。
2021-03-15 cs.LG cs.SI math.PR
Approximating Spectral Clustering via Sampling: a Review
CNRS, Univ. Grenoble Alpes, Grenoble-INP, GIPSA-lab（法国国家科学研究中心、格勒诺布尔阿尔卑斯大学、格勒诺布尔理工学院、GIPSA实验室）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
谱聚类是指一系列无监督学习算法，其基于相似性图的特征向量计算原始数据的谱嵌入。这种数据的非线性变换既是这些算法成功的关键，也是它们的致命弱点：当处理超过数万个点时，形成一个图并计算其主特征向量确实在计算上是令人望而却步的。在本文中，我们回顾了主要的研究工作，旨在减少这种计算成本。我们专注于方法，来与理论控制的聚类性能，并在其操作中采用某种形式的采样。这种方法在机器学习、数值线性代数和图形信号处理文献中比比皆是，其中包括Nyström近似、地标、粗化、核心集和压缩谱聚类。我们提出的近似保证可用于每个和讨论实际的优点和局限性。令人惊讶的是，尽管所探索的文献范围很广，但我们得出的结论是，理论与实践之间仍然存在差距：最具可扩展性的方法只是出于直观的动机或松散的控制，而那些具有端到端保证的方法则依赖于强有力的假设或能够有限地增加计算时间。
2019-01-29 cs.LG stat.ML
Consistency of Spectral Clustering on Hierarchical Stochastic Block Models
我们在一个通用的随机块模型下研究了真实世界网络中的社区层次结构，在这个模型中，连接概率被构造成一个二叉树。在这种模型下，标准的递归二划分算法基于未规范化图拉普拉斯算子的Fiedler向量将网络划分为两个社区，并重复分裂，直到停止规则指示没有进一步的社区结构。我们证明了这种方法的强一致性下的广泛的模型参数，其中包括稀疏网络的节点度小到$O(\log n)$。此外，与大多数现有的工作不同，我们的理论涵盖了多尺度网络，其中连接概率可能会有数量级的差异，这包括一类重要的模型，这些模型实际上是相关的，但在技术上具有挑战性。最后，我们证明了我们的算法在合成数据和现实世界的例子的性能。
2021-11-18 math.ST stat.ML stat.TH
On the Consistency of Quick Shift
Google Inc.（谷歌公司）
Quick Shift是一种流行的模式搜索和聚类算法。我们提出了有限样本的统计一致性保证快速转移模式和集群恢复下温和的分布假设。然后，我们应用我们的结果来构建一个一致的模态回归算法。
2017-12-23 cs.LG stat.ML
Asymptotics for The $k$-means
Purdue University（普渡大学）
$k$ -means是统计学和计算机科学中最重要的无监督学习技术之一。其目标是将数据集划分为许多聚类，使得聚类内的观测是最同质的，而聚类之间的观测是最异质的。虽然这是众所周知的，渐近性质的调查是远远落后，导致在实践中开发更精确的$k$ -手段方法的困难。为了解决这个问题，提出了一个新的概念，称为聚类一致性。从根本上说，所提出的聚类一致性准则比以往的一致性准则更适用于聚类方法。利用这一概念，提出了一种新的$k$ -均值方法。结果表明，与现有的$k$ -means方法相比，所提出的$k$-means方法具有更低的聚类错误率，对小聚类和离群点具有更强的鲁棒性.当$k$未知时，利用Gap统计量，该方法也能识别聚类数。这是很少实现现有的$k$ -手段的方法采用了许多软件包。
2022-11-18 cs.LG stat.ML
Universal Joint Image Clustering and Registration using Partition Information
我们考虑的问题，通用的联合聚类和注册的图像和定义算法，使用多元信息泛函。我们首先研究了利用最大互信息配准两幅图像，并证明了它的渐近最优性。然后指出了两两配准在多图像配准中的不足，并设计了一种基于多信息量的渐进最优配准算法。此外，我们定义了一个新的多元信息函数进行联合聚类和图像配准，并证明了算法的一致性。最后，我们考虑众多的有限分辨率的图像的注册和聚类，定义算法，在每个图像中的像素数量的缩放顺序最优的图像的数量。
2017-11-30 cs.IT math.IT stat.ML
Demystifying Information-Theoretic Clustering
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；Santa Fe Institute（圣塔菲研究所）；Indiana University（印第安纳大学）
我们提出了一种新的方法，聚类数据是基于信息理论的原则，不需要参数假设。以前的尝试使用信息论来定义集群在一个无干扰的方式是基于最大化的数据和集群标签之间的互信息。我们证明，这种直觉存在一个基本的概念缺陷，导致聚类性能随着数据量的增加而恶化。相反，我们回到信息论的公理基础上定义一个有意义的聚类度量的基础上的概念下粗粒度的有限数据的一致性。
2014-02-05 cs.IT cs.LG math.IT
Almost Linear Time Consistent Mode Estimation and Quick Shift Clustering
University of Tehran（塔里哈大学）
本文提出结合LSH与快速位移算法的高维空间密度聚类方法，实现近线性时间复杂度和一致的密度估计。
2025-11-27 cs.LG stat.ML
Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Center of Data Science（数据科学中心）
该研究针对半监督分类问题，从理论上证明关系知识蒸馏（RKD）可转化为谱聚类并实现低聚类误差，提出聚类感知半监督学习框架，揭示了RKD与一致性正则化分别提供全局与局部视角。
2023-10-23 cs.LG stat.ML
Consistency of Cheeger and Ratio Graph Cuts
Carnegie Mellon University（卡内基梅隆大学）；California State University, Long Beach（加州州立大学长滩分校）；Loyola Marymount University（洛约拉马利蒙特大学）；Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（EPFL））
本文建立了一系列基于图割的数据云聚类算法的一致性。我们认为点云作为地面实况测量的样本获得。我们调查的方法，聚类的基础上最小化的目标泛函上定义的邻近图的给定样本。我们的重点是基于图削减像Cheeger和比率削减的泛函。我们表明，这些削减收敛的最小值的样本量增加到一个相应的连续切割（分区地面真值测量）的最小值。此外，我们得到了尖锐的条件，如何连接半径可以缩放相对于样本点的数量的一致性举行。我们提供的结果为双向和多向削减。此外，我们提供了数值实验，说明的结果，并探讨在二维缩放的最优性。
2014-11-24 cs.LG math.ST stat.ML
Multi-view Clustering with the Cooperation of Visible and Hidden Views
多视图数据在现实建模任务中越来越普遍，因此提出了许多多视图数据聚类算法。现有的算法通常只关注原始空间中不同视图之间的协作，而忽略了不同可见视图之间隐藏信息的影响，或者只考虑视图之间的隐藏信息。由于现有的信息没有被充分挖掘，特别是不同视图中的差异性信息和它们之间的一致性信息，因此算法效率不高。在实际应用中，多视图数据中的差异性和一致性信息对于有效的聚类分析都是非常有用的。在这项研究中，多视图聚类算法的发展与合作的可见和隐藏的意见，即，提出了MV-Co-VH。MV-Co-VH算法首先利用非负矩阵分解（NMF）策略将不同可见空间的多个视图投影到公共隐空间，得到公共隐视图数据。在聚类过程中，基于可见视图和共享隐藏视图实现协作学习。在UCI多视图数据集和真实图像多视图数据集上的实验结果表明，该算法的聚类性能与现有算法相当，甚至优于现有算法。
2019-08-12 cs.AI cs.LG stat.ML
Density-based Clustering with Best-scored Random Forest
Renmin University of China（中国人民大学）
基于单水平密度的聚类方法一直被广泛认为是一种概念上和数学上令人信服的聚类方法。在本文中，我们提出了一种算法称为“最佳得分聚类森林”，可以获得最佳水平，并确定相应的集群。术语“最佳得分”意味着从一定数量的纯随机树候选中选择一个具有最佳经验性能的随机树。从理论的角度来看，我们首先表明，我们提出的算法的一致性可以得到保证。此外，在对底层密度函数和目标聚类的某些温和限制下，甚至可以实现快速收敛。最后，与其他国家的最先进的聚类方法在数值实验中的比较表明，我们的算法的准确性在合成数据和几个基准的真实数据集。
2019-06-24 cs.LG stat.ML
Asymptotic Theory of Geometric and Adaptive $k$-Means Clustering
本文扩展了 Pollard 的 $k$-means 聚类一致性理论，证明在 Riemannian 流形等几何设置及 $k$-medoids 等自适应参数选择下聚类过程均强一致，并推导出更广泛的渐近极限定理，同时移除了最优聚类中心唯一性假设。
2025-06-27 math.ST stat.ML stat.TH
Multi-Community Spectral Clustering for Geometric Graphs
INRIA, NEO Team, Sophia Antipolis - Méditerranée（法国国家信息与自动化研究所，NEO团队，索菲亚-地中海）
本文针对软几何块模型提出一种谱聚类算法，利用邻接矩阵特征向量嵌入并应用k-means，证明弱一致性和强一致性，并分析极限谱。
2025-07-27 cs.LG cs.SI math.PR
Analysis of spectral clustering algorithms for community detection: the general bipartite setting
我们认为谱聚类算法的社区检测下一般的二分随机块模型（SBM）。现代谱聚类算法由三个步骤组成：（1）适当的邻接矩阵或拉普拉斯矩阵的正则化（2）谱截断的形式和（3）减少谱域中的k-means型算法。我们专注于基于邻接的谱聚类，并为第一步，提出了一种新的数据驱动的正则化，即使对于稀疏网络，也可以恢复邻接矩阵的浓度。这个结果是基于最近的随机二进制矩阵的正则化工作，但避免使用未知的人口水平参数，而是从数据中估计必要的数量。我们还提出并研究了一种新的变化的频谱截断步骤，并显示这种变化如何改变的性质的误分类率在一般的SBM。然后，我们将展示如何将一致性结果扩展到SBM之外的模型，例如具有近似聚类的非均匀随机图模型，包括图子聚类问题，以及一般的亚高斯双聚类。本文的一个主题是提供一个更好的理解分析的谱方法社区检测和建立一致性的结果，在相当一般的聚类模型和广泛的制度的程度增长，包括稀疏的情况下，平均预期的程度增长任意缓慢。
2018-12-22 cs.SI math.ST stat.ML
Adaptive Clustering Using Kernel Density Estimators
我们推导并分析了一个通用的，递归算法估计所有分裂在有限的集群树以及相应的集群。我们进一步研究这个通用的聚类算法时，它收到的核密度估计水平集估计的统计特性。特别是，我们得到有限样本的保证，一致性，收敛速度，和自适应的数据驱动的策略选择内核带宽。对于这些结果，我们不需要密度的连续性假设，如Hölder连续性，而只需要非参数性质的直观几何假设。
2021-11-01 stat.ME stat.ML
Perfect Spectral Clustering with Discrete Covariates
Pennsylvania State University（宾夕法尼亚州立大学）
在社区检测方法中，谱聚类具有两个理想的性质：计算效率和理论上的一致性保证。大多数谱聚类的研究只考虑网络的边缘作为算法的输入。在这里，我们考虑的问题进行社区检测存在的离散节点协变量，其中网络结构是由一个潜在的块模型结构和同质性的组合所观察到的协变量。我们提出了一个谱算法，我们证明实现了完美的聚类具有高概率的一类大型，稀疏的网络与离散的协变量，有效地分离潜在的网络结构同质性观察到的协变量。据我们所知，我们的方法是第一个提供了一个保证一致的潜在结构恢复使用谱聚类的边缘形成是依赖于潜在的和观察到的因素。
2022-05-17 cs.LG cs.SI math.ST
Spectral clustering via adaptive layer aggregation for multi-layer networks
Columbia University（哥伦比亚大学）；Michigan State University（密歇根州立大学）；New York University（纽约大学）
网络分析中的一个基本问题是发现多层网络中的社团结构，其中每一层代表节点之间的一种边信息。我们提出了基于有效凸层聚合的综合谱聚类方法。我们的聚合方法的强烈动机是一个微妙的渐近分析的频谱嵌入加权邻接矩阵和下游$k$ -手段聚类，在一个具有挑战性的制度，社区检测一致性是不可能的。事实上，该方法被示出来估计最优凸聚集，该最优凸聚集在一些专门的多层网络模型下使误聚类误差最小化。我们的分析进一步表明，使用高斯混合模型的聚类一般优于常用的$k$ -均值谱聚类。大量的数值研究表明，我们的自适应聚合技术，再加上高斯混合模型聚类，使新的谱聚类显着的竞争力相比，几个常用的方法。
2022-10-06 cs.LG cs.SI math.ST
