Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Munich(慕尼黑工业大学)
尽管基于内核的聚类无处不在,但令人惊讶的是,除了考虑数据生成过程中强结构假设的设置之外,几乎没有统计保证。在这项工作中,我们采取了一个步骤弥合这一差距,通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下,这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证,而无需对组件分布的形式进行结构性假设。此外,我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响,这种联系可能具有实际意义,包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Fast Landmark Subspace Clustering
核方法在各种机器学习任务的准确性方面获得了卓越的性能,因为它们可以有效地提取非线性关系。然而,它们的时间复杂度可能相当大,特别是对于集群任务。在本文中,我们定义了一个一般类的内核,可以很容易地近似随机化。这些核出现在各种应用中,特别是传统的谱聚类,基于地标的谱聚类和基于地标的子空间聚类。我们发现,$n$数据点从$K$集群与$D$地标,随机化过程中的复杂性$O(KnD)$的算法的结果。此外,我们约束了原始聚类方案与其随机化之间的误差。为了说明这个框架的力量,我们提出了一个新的快速地标子空间(FLS)聚类算法。在模拟数据集和真实数据集上的实验表明,FLS在加速子空间聚类方面具有优异的性能,但精度略有下降。
2015-10-28 stat.ML
Nearly Optimal Clustering Risk Bounds for Kernel K-Means
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Inception Institute of Artificial Intelligence(启智人工智能研究院)
本文研究了核$k$ -means的统计性质,得到了一个接近最优的超聚类风险界,大大改进了现有聚类风险分析中的超聚类风险界.我们进一步分析了Nyström核$k$ -均值的计算近似的统计效果,并证明了它达到了与只考虑$Ω(\sqrt{nk})$ Nyström标志点的精确核$k$ -均值相同的统计精度。据我们所知,这样的核(或近似核)$k$ -means的急剧过剩的聚类风险界从来没有被提出过。
2020-05-14 cs.LG stat.ML
Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds
Stevens Institute of Technology(斯蒂文斯理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);International Computer Science Institute(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
核$k$ -均值聚类算法比线性$k$ -均值聚类算法能够正确地识别和提取更多样的聚类结构集合。然而,核$k$ -均值聚类是计算昂贵的非线性特征映射是高维的,有很多输入点。核近似,例如,Nyström方法,已被应用在以前的工作,以近似解决内核学习问题时,上述两个条件都存在。这项工作分析了这种范例的应用内核$k$ -均值聚类,并表明,应用线性$k$ -均值聚类算法的$\frac{k}ε (1 + o(1))$功能构建使用所谓的秩限制Nyström近似结果在集群分配,满足$1 + ε$近似比的内核$k$ -均值成本函数,相对于不使用Nyström方法的相同算法提供的保证。作为分析的一部分,这项工作建立了一个新的$1 + ε$相对误差跟踪范数保证低秩近似使用秩限制Nyström近似。在$8.1$百万实例MNIST 8 M数据集上的实证评估证明了内核$k$均值聚类与Nyström近似的可扩展性和实用性。这项工作认为,谱聚类使用Nyström近似-一个流行的和计算效率高,但理论上不健全的方法,非线性聚类-应取代内核$k$ -均值聚类Nyström近似的有效和理论上合理的组合。后一种方法的优越性能是经验验证。
2019-02-10 cs.LG stat.ML
SimpleMKKM: Simple Multiple Kernel K-means
National University of Defense Technology(国防科技大学);Edinburgh University(爱丁堡大学);Hefei University of Technology(合肥工业大学)
我们提出了一个简单而有效的多核聚类算法,称为简单的多核k-means(SimpleMKKM)。它扩展了广泛使用的监督核对齐标准的多核聚类。我们的标准是由一个棘手的最小化最大化问题的核心系数和聚类划分矩阵。为了优化它,我们重新制定了一个光滑的最小化的问题,这可以有效地解决使用减少梯度下降算法。从理论上分析了SimpleMKKM的聚类泛化误差。在11个基准数据集上的综合实验表明,SimpleMKKM优于最先进的多核聚类替代方案。
2020-05-12 cs.LG stat.ML
Point-Set Kernel Clustering
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);School of Information Technology, Deakin University(迪肯大学信息技术学院)
度量两个对象之间的相似性是现有聚类算法的核心操作,用于将相似的对象分组到类中。本文介绍了一种新的相似性度量称为点集核,它计算一个对象和一组对象之间的相似性。建议的聚类过程利用这种新的措施来表征每个集群从一个种子对象。我们表明,新的聚类过程是有效的和高效的,使其能够处理大规模的数据集。相比之下,现有的聚类算法要么是高效的,要么是有效的。与最先进的密度峰值聚类和可扩展的核k均值聚类相比,我们表明,该算法是更有效的,运行速度的数量级更快时,适用于数百万个数据点的数据集,在常用的计算机上。
2022-01-06 cs.LG stat.ML
Adaptive Clustering Using Kernel Density Estimators
我们推导并分析了一个通用的,递归算法估计所有分裂在有限的集群树以及相应的集群。我们进一步研究这个通用的聚类算法时,它收到的核密度估计水平集估计的统计特性。特别是,我们得到有限样本的保证,一致性,收敛速度,和自适应的数据驱动的策略选择内核带宽。对于这些结果,我们不需要密度的连续性假设,如Hölder连续性,而只需要非参数性质的直观几何假设。
2021-11-01 stat.ME stat.ML
Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering
Aalto University(阿尔托大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
核函数是一种强有力的工具,通过核技巧来增强$k$ -均值聚类算法。已知所选核函数的参数可以对结果具有显著影响。在监督设置中,这些可以通过交叉验证进行调整,但对于聚类来说,这并不简单,通常采用分类法。在本文中,我们研究了核参数对核$k$ -均值的影响。特别是,我们推导出一个下界,紧到常数因子,低于该参数的RBF内核将使内核$k$ -意味着毫无意义。我们认为,网格搜索可以是无效的超参数搜索在这种情况下,并提出了一种替代算法。此外,我们提供了一个有效的实现的基础上快速近似取幂可证明的质量保证。我们的实验结果表明,我们的方法能够有效地揭示一组丰富而有用的超参数值。
2020-06-24 cs.LG stat.ML
Convergence and clustering analysis for Mean Shift with radially symmetric, positive definite kernels
本文研究了均值偏移算法在径向对称正定核下的收敛性与聚类分析,证明了在足够大的带宽下,无论维度如何,算法都能收敛。同时探讨了不同核函数在大带宽下的聚类性能。
2026-03-16 cs.LG stat.ML
Kernel Spectral Clustering and applications
在本章中,我们回顾了与核谱聚类(KSC)相关的主要文献,KSC是一种在基于核的优化设置中进行聚类的方法。KSC表示基于最小二乘支持向量机的谱聚类公式,由加权核PCA目标描述。正如在分类器的情况下,二进制聚类模型是由一个核诱导的高维空间中的超平面表示。此外,多路聚类可以通过经由纠错输出码(ECOC)编码方案组合一组二元决策函数来获得。由于其基于模型的性质,KSC方法包括三个主要步骤:训练,验证,测试。在验证阶段,执行模型选择以获得调优参数,如数据中存在的聚类数。这是一个主要的优势相比,经典的谱聚类的聚类参数的确定是不清楚的,依赖于遗传学。一旦KSC模型在整个数据的一个小子集上进行训练,它就能够很好地推广到看不见的测试点。除了基本公式,稀疏KSC算法的基础上不完全Cholesky分解(ICD)和$L_0$,$L_1, L_0 + L_1$,组Lasso正则化。在这方面,我们展示了如何处理大规模数据。此外,两种可能的方式来执行层次聚类和软聚类方法。最后,考虑了实际应用,如图像分割,电力负荷时间序列聚类,文档聚类和大数据学习。
2015-05-03 cs.LG stat.ML
On the optimality of kernels for high-dimensional clustering
International Max Planck Research School for Intelligent Systems(马克斯·普朗克智能系统国际研究学院);IMPRS-IS(马克斯·普朗克智能系统国际研究学院);University of Tübingen(图宾根大学);Technical University of Munich(慕尼黑工业大学)
研究了高维数据聚类中核方法的最优性。最近的工作已经研究了大样本性能的核聚类在高维制度,其中欧氏距离变得信息量较少。然而,目前还不清楚流行的方法,如核k-means,在这种制度下是否是最佳的。我们认为,高维高斯聚类的问题,并表明,与指数核函数,部分恢复集群使用NP-硬核k-均值目标的充分条件匹配已知的信息理论的限制高达一个因素的$\sqrt{2}$大$k$。它也完全匹配非内核设置的已知上限。我们还表明,一个半定松弛的内核k-均值程序匹配到常数因子,频谱阈值,低于它没有多项式时间算法是已知的成功。这是第一个为内核k-means及其凸松弛提供这种最优性保证的工作。我们的证明表明,在高阶分析的核方法的指数衰减尾部的随机变量的不太知名的多项式浓度的结果的效用。
2019-12-01 cs.LG stat.ML
Attention-Based Clustering: Learning a Kernel from Context
Zuken Ltd(图研有限公司)
在机器学习中,没有数据点是孤立的。我们认为,在许多机器学习方法中,上下文是一个未得到充分重视的概念。我们提出了基于注意力的聚类(ABC),基于注意力机制的神经体系结构,其目的是学习适应输入集内上下文的潜在表示,并且其本质上与输入大小和聚类数量无关。通过学习相似性核,我们的方法直接与任何开箱即用的基于核的聚类方法相结合。我们提出了竞争力的聚类Omniglot字符的结果,包括分析证据的有效性的注意力为基础的方法进行聚类。
2020-10-02 cs.CV cs.LG stat.ML
Deep Kernel Learning for Clustering
Northeastern University(东北大学)
我们提出了一种深度学习方法,用于发现针对样本数据识别聚类的内核。我们的神经网络产生的样本嵌入是由谱聚类激发的,并且至少与谱聚类一样具有表达力。我们的训练目标,基于Hilbert Schmidt信息准则,可以通过Stiefel流形上的梯度自适应来优化,从而显著加速依赖于特征分解的谱方法。最后,我们训练的嵌入可以直接应用于样本外数据。我们的实验表明,我们的方法优于几个国家的最先进的深度聚类方法,以及传统的方法,如$k$ -手段和谱聚类在广泛的现实生活和合成数据集。
2020-01-02 cs.LG stat.ML
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA(蔚蓝海岸大学法国国家信息与自动化研究所)
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度,仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构,从这样的混合物中抽取的样本。基于这些结果,我们分析了核PCA聚类高维混合的能力。特别是,我们展示了一个特定的内核,导致一个简单的频谱算法聚类可能共同的手段,但不同的协方差阵的混合物。我们表明,所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Path-Based Spectral Clustering: Guarantees, Robustness to Outliers, and Fast Algorithms
我们考虑的问题,聚类与最长的腿路径距离(LLPD)度量,这是信息细长和不规则形状的集群。我们证明有限样本保证的性能,聚类相对于此度量时,随机样本从多个固有的低维集群在高维空间中,在大量的高维离群值的存在下。通过结合这些结果与谱聚类相对于LLPD,我们提供的条件下,拉普拉斯特征间隙统计正确地确定了一个大类的数据集的集群的数量,并证明所提出的算法的标签精度的保证。我们的方法是相当普遍的,并提供性能保证谱聚类与任何超度量。我们还介绍了一个有效的,易于实现的近似算法的LLPD的基础上的多尺度分析的邻接图,它允许运行时的LLPD谱聚类的数据点的数量是准线性的。
2019-03-06 stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Low-rank Kernel Learning for Graph-based Clustering
University of Electronic Science and Technology of China(电子科技大学)
邻接图的构造是基于图聚类的基础。内核空间中的图学习在许多基准数据集上表现出令人印象深刻的性能。然而,其性能在很大程度上取决于所选择的核矩阵。为了解决这个问题,先前的多核学习算法已经被应用于从一组预定义的核中学习最优的核。这种方法可能对噪声敏感,并限制了共识核的表示能力。与现有的方法相比,我们建议学习一个低秩的核矩阵,利用核矩阵的相似性,并寻求一个最佳的内核从候选内核的邻域。通过在统一的框架中制定图构造和核学习,图和共识核可以相互迭代增强。大量的实验结果验证了该方法的有效性。
2019-03-14 cs.CV cs.LG stat.ML
A New Framework for Convex Clustering in Kernel Spaces: Finite Sample Bounds, Consistency and Performance Insights
Indian Statistical Institute, Kolkata(印度统计研究院,加尔各答);Electronics and Communication Sciences Unit, Indian Statistical Institute(印度统计研究院电子与通信科学单位);Department of Statistics, University of Oxford(牛津大学统计系);Department of Statistics, University of Michigan(密歇根大学统计系)
本文提出核化凸聚类方法,通过映射数据到RKHS空间,解决线性不可分和非凸数据的聚类问题,理论分析和实验验证显示其优于现有方法。
2026-05-14 cs.LG stat.ML
Similarity Kernel and Clustering via Random Projection Forests
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);Linkedin Inc(领英公司);Indigo Agriculture Inc(靛蓝农业公司);DiDi Research America(滴滴美国研究院)
相似性在数据采掘、机器学习、统计学等许多应用领域都起着重要的作用。受集成方法的成功和树的灵活性的启发,我们提出通过随机投影森林(rpForests)学习一个称为rpf-kernel的相似性内核。我们的理论分析揭示了rpf内核的一个非常理想的属性:远(不相似)点具有低相似性值,而近(相似)点具有高相似性,并且相似性具有原生解释,即在rpForests的生长过程中,点保留在相同叶节点中的概率。学习的rpf核导致了一个有效的聚类算法-rpfCluster。在各种各样的真实和基准数据集上,rpfCluster与K-means聚类,谱聚类和最先进的聚类集成算法-Cluster Forests相比毫不逊色。我们的方法是简单的实现和容易适应的几何基础数据。鉴于其理想的理论属性和竞争力的经验性能时,应用于聚类,我们期望rpf核适用于许多问题的无监督性质或作为正则化在一些监督或弱监督设置。
2019-08-28 cs.LG stat.ME stat.ML
Clustering evolving data using kernel-based methods
Université de Namur(那慕尔大学)
在这篇论文中,我们提出了几种建模策略来处理不同背景下不断变化的数据。在静态聚类的框架下,我们首先介绍了一个软核谱聚类(SKSC)算法,它可以更好地处理重叠的集群相对于核谱聚类(KSC),并提供更多的可解释的结果。在此基础上,提出了基于KSC的静态网络社区发现的整体策略,其中高质量训练子图的提取、核函数的选择、模型的选择以及对大规模数据的适用性是关键。这铺平了道路的发展一种新的聚类算法的分析不断发展的网络称为核谱聚类与记忆效应(MKSC),在连续的时间步长的聚类结果之间的时间平滑度被纳入在初级优化问题的水平,通过适当修改KSC制定。最后给出了KSC在工业机械故障检测中的应用。在这里,需要通过适当的窗口操作对数据进行智能预处理,以捕捉影响机器的正在进行的退化过程。通过这种方式,在真正无人监督的情况下,可以在必要时以在线方式发出预警。最后,我们提出了一种新的算法称为增量核谱聚类(IKSC)的在线学习的非平稳数据。这一雄心勃勃的挑战是通过利用核谱聚类(KSC)的样本外属性来适应初始模型,以解决聚类随时间的合并,分裂或漂移。本文考虑的实际应用包括图像分割、时间序列聚类、静态和演化网络的社区发现。
2014-11-20 cs.LG cs.SI stat.ML
Kernel KMeans clustering splits for end-to-end unsupervised decision trees
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
针对无标签数据的端到端聚类树学习挑战,提出无监督二叉树模型 Kauri,通过贪婪最大化核 KMeans 目标且无需定义质心,在多数据集上表现优异。
2024-02-19 cs.AI cs.LG stat.ML
Towards Robust Nonlinear Subspace Clustering: A Kernel Learning Approach
Université de Sherbrooke(谢布鲁克大学)
本文提出DKLM,一种数据驱动的核学习非线性子空间聚类方法,通过自适应核学习与块对角亲和矩阵优化,提升聚类鲁棒性并在实验中验证其有效性。
2025-01-20 cs.CV cs.LG stat.ML
Kernel K-means clustering of distributional data
Departamento de Matemáticas, Universidad Autónoma de Madrid(马德里自治大学数学系);Escuela de Doctorado, Universidad Autónoma de Madrid(马德里自治大学博士学院)
本文提出将概率分布映射到再生核希尔伯特空间中的核均值嵌入,再执行K-means聚类,实现对分布数据的无监督分类,并在SAR图像上验证了方法性能。
2025-09-22 cs.LG stat.CO stat.ML
Twin Learning for Similarity and Clustering: A Unified Kernel Approach
Southern Illinois University(南伊利诺伊大学)
许多基于相似性的聚类方法分为两个独立的步骤,包括相似性矩阵计算和随后的谱聚类。然而,相似性度量是具有挑战性的,因为它通常受到许多因素的影响,例如,相似性度量、邻域大小、数据规模、噪声和离群点的选择。因此,学习的相似性矩阵通常不适合,更不用说最佳的,为后续的聚类。此外,非线性相似性往往存在于许多现实世界中的数据,然而,没有被有效地考虑到大多数现有的方法。为了解决这两个挑战,我们提出了一个模型,同时学习聚类指示矩阵和核空间中的相似性信息的原则性方式。我们展示了核k-均值,k-均值和谱聚类方法的理论关系。然后,为了解决如何为特定的聚类任务选择最合适的内核的实际问题,我们进一步扩展了我们的模型与多核学习能力。利用该模型,可以自动完成寻找最佳聚类指标矩阵、最精确的相似关系和多核函数的最优组合三个子任务。通过在联合框架中利用这三个子任务之间的交互,每个子任务可以通过使用其他子任务的结果来迭代地提高整体最优解。大量的实验证明了我们的方法的有效性。
2017-05-03 cs.CV cs.LG stat.ML
Overlapping clustering based on kernel similarity metric
Larodec, ISG University of Tunis(突尼斯ISG大学Larodec);Ceremade, Université Paris-Dauphine(巴黎第九大学Ceremade)
产生重叠方案是集群中的一个主要问题。最近提出的重叠方法依赖于最佳覆盖的搜索,并基于不同的度量,如欧几里得距离和I-Divergence,用于测量观测之间的接近度。在本文中,我们提出了另一种基于核相似性度量的重叠聚类方法,并利用Gram矩阵估计重叠聚类的个数。在Iris和EachMovie数据集上的实验结果表明,基于核相似性度量的聚类数估计方法是正确的,并且提高了重叠聚类的查准率、查全率和f-measure。
2012-11-29 cs.LG stat.ME stat.ML
Rethinking Clustering for Robustness
Universidad de los Andes(安第斯大学);University of Oxford(牛津大学);Facebook Reality Labs(Facebook现实实验室)
本文研究了在深度神经网络训练过程中鼓励语义对齐的特征如何提高网络的鲁棒性。最近的研究发现,对抗性训练可以产生强大的模型,其学习特征似乎与人类感知相关。受这种从鲁棒性到语义的联系的启发,我们研究了互补的联系:从语义到鲁棒性。为此,我们为基于距离的分类模型(基于聚类的分类器)提供了鲁棒性证书。此外,我们证明了这个证书是严格的,我们利用它提出了一个基于聚类和无对抗性的训练框架来学习鲁棒模型的Clustering Training for Robustness(聚类训练鲁棒性)。有趣的是,在强PGD攻击下,\textit{ClusTR}的性能比经过对抗训练的网络高出$4\%$。
2021-11-19 cs.LG stat.ML
A Study of Clustering Techniques and Hierarchical Matrix Formats for Kernel Ridge Regression
University of Michigan(密歇根大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了内存效率和可扩展的算法,用于机器学习的内核方法。使用分层矩阵近似的内核矩阵的内存需求,浮点运算的数量,和执行时间大大减少相比,标准的密集线性代数例程。我们考虑了一般的$\mathcal{H}$矩阵层次格式以及层次半可分(HSS)矩阵。此外,我们研究了几种预处理和聚类技术对层次矩阵压缩的影响。输入的有效聚类导致压缩效率提高十倍。这些算法是使用STRUMPACK求解器库实现的。这些结果证实,-正确调整的超参数-分类使用核岭回归与压缩矩阵不失去预测精度相比,确切的-未压缩-核矩阵,我们的方法可以扩展到$\mathcal{O}(1M)$数据集,其中计算与完整的内核矩阵变得过于昂贵。我们目前的数值实验在分布式内存环境中高达1,024处理器的NERSC的科里超级计算机使用众所周知的数据集的机器学习社区,范围从8到784。
2018-03-27 cs.LG stat.ML
Distributed Clustering based on Distributional Kernel
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);School of Information Technology, Deakin University(迪肯大学信息技术学院)
该研究提出首个基于分布核的分布式聚类框架KDC,兼具结果与集中式等价、单站点耗时更低、适配任意簇形态三大特性,搭配新型Kernel Bounded Cluster Cores算法效果更优,还能让二次时间聚类算法处理大规模数据集。
2024-09-14 cs.AI cs.LG stat.ML
Constrained Clustering and Multiple Kernel Learning without Pairwise Constraint Relaxation
Carnegie Mellon University(卡内基梅隆大学);University of Cambridge(剑桥大学)
成对约束下的聚类是一种重要的知识发现工具,它能够学习适当的核或距离度量来提高聚类性能。这些成对约束以必须链接和不能链接对的形式出现,在许多应用程序中自然出现,并且对于用户来说是直观的。然而,当学习内核或度量时,将离散约束放松到连续域以简化优化的常见做法可能会损害泛化,因为仅编码链接的信息被转换为通知距离。我们引入了一个新的约束聚类算法,联合聚类数据和学习的内核,根据现有的成对约束。为了更好地推广,我们的方法被设计为最大化约束满足,而不放松成对约束到一个连续的域,其中它们通知距离。我们表明,所提出的方法优于现有的方法在大量不同的公开可用的数据集,我们讨论了我们的方法如何可以扩展到处理大数据。
2022-03-23 cs.AI cs.LG stat.ML
Distributed Kernel K-Means for Large Scale Clustering
根据有效的度量和/或向量空间表示对样本进行聚类是具有广泛应用的具有挑战性的无监督学习任务。在几种聚类算法中,k-means及其内核化版本仍然拥有广泛的受众,因为它们的概念简单和有效性。然而,k-means的内核化版本的系统应用受到其固有的平方缩放内存中的样本数量的阻碍。在这方面的贡献,我们设计了一个近似的策略,以最大限度地减少内核k-means成本函数,其中精度和速度之间的权衡是自动统治可用的系统内存。此外,我们定义了一个ad-hoc的并行化方案,非常适合混合的cpu-gpu国家的最先进的并行架构。我们证明了有效性的近似方案和标准UCI数据集和分子动力学(MD)数据在计算化学领域的并行化方法。在这个应用领域,聚类可以在通过马尔可夫状态模型定量估计动力学速率或定性给出所研究的潜在化学现象的与人类兼容的总结方面发挥关键作用。出于这些原因,我们选择它作为一个有价值的现实世界的应用场景。
2017-10-09 cs.DC stat.ML
Concentration of kernel matrices with application to kernel spectral clustering
University of California, Los Angeles(加州大学洛杉矶分校);Cedars-Sinai Medical Center(西达赛奈医疗中心)
研究了随机核矩阵在其均值附近的集中度。假设数据点独立于$\mathbb R^d$上的一类多元分布(包括仿射变换下的强对数凹分布),得到了Lipschitz核的非渐近指数浓度不等式.我们的结果的一个特点是,数据点不需要具有相同的分布或零均值,这在某些应用中是关键,如聚类。我们对Lipschitz核的界是无量纲的,并且一直到常数。为了比较,我们还推导出了一类次高斯分布的欧氏(内积)核的伴随结果。这两种情况之间的一个显著区别是,与欧几里得核相反,在Lipschitz情况下,浓度不等式不依赖于基础向量的均值。作为这些不等式的应用,我们得到了一个核谱聚类(KSC)算法的误分类率的界,扰动下的非参数混合模型。我们展示了一个例子,这个界限建立高维的一致性(作为$d \to \infty$)的KSC,当应用高斯内核,噪声模型嵌套的非线性流形。
2020-01-27 cs.LG math.ST stat.ML
Network Clustering Via Kernel-ARMA Modeling and the Grassmannian The Brain-Network Case
University at Buffalo, The State University of New York (SUNY)(纽约州立大学布法罗分校);Drexel University(德雷塞尔大学);Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
本文介绍了一个聚类框架的节点与时间序列数据注释的网络。该框架解决了所有类型的网络聚类问题:状态聚类,状态内的节点聚类(也称为状态聚类)。拓扑识别或社区发现),甚至子网络状态序列识别/跟踪。通过自下而上的方法,首先从原始节点时间序列数据中提取特征,通过内核自回归移动平均建模来揭示非线性依赖关系和低秩表示,然后映射到格拉斯曼流形(格拉斯曼)。所有的聚类任务都是通过以一种新颖的方式利用格拉斯曼的基本黎曼几何来执行的。为了验证所提出的框架,脑网络聚类被认为是,在合成和真正的功能磁共振成像(fMRI)数据的广泛的数值测试表明,倡导的学习框架相比有利的几个国家的最先进的聚类方案。
2020-02-18 cs.LG cs.SI stat.ML
Multiple-Kernel Dictionary Learning for Reconstruction and Clustering of Unseen Multivariate Time-series
CITEC cluster of excellence(CITEC卓越集群);Bielefeld University(比勒费尔德大学)
存在许多方法用于描述和识别数据集中的不可见类。然而,当我们处理多变量时间序列(MTS)(例如,运动数据),其中我们不能将矢量算法直接应用于输入。在这项工作中,我们提出了一种新的多核字典学习(MKD),学习语义属性的MTS维度在特征空间中的特定组合的基础上。因此,MKD可以基于训练数据(可见类)完全/部分地重建不可见类。此外,我们获得稀疏编码看不见的类的基础上学习的MKD属性,并在此基础上,我们提出了一个简单而有效的增量聚类算法来分类看不见的MTS类在无监督的方式。根据我们的MKD框架在真实基准上的经验评估,它提供了一个不可见MTS数据的可解释的重建以及关于其在线聚类的高性能。
2019-03-12 cs.LG stat.ML
A Distance Covariance-based Kernel for Nonlinear Causal Clustering in Heterogeneous Populations
University of Vienna(维也纳大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们考虑在异质群体的背景下因果结构学习的问题,即,单一因果结构不能充分代表所有群体成员的群体,这在生物科学和社会科学中很常见。为此,我们引入了一个基于距离协方差的内核,专门用于测量不同样本的潜在非线性因果结构之间的相似性。事实上,我们证明了相应的特征图是一个统计上一致的非线性独立结构的相合估计量,使内核本身的假设,即样本集来自不同的生成因果结构的统计检验。更强的是,我们证明了核空间是等距的因果祖先图的空间,使样本之间的距离在核空间中的保证对应于它们生成的因果结构之间的距离。因此,该内核使我们能够执行聚类以识别同质子群体,然后我们可以使用现有方法学习因果结构。虽然我们专注于内核的理论方面,但我们也评估了其在合成数据上的性能,并展示了其在真实基因表达数据集上的使用。
2022-02-18 cs.LG stat.ML
Kernel learning approaches for summarising and combining posterior similarity matrices
当使用马尔可夫链蒙特卡罗(MCMC)算法来执行贝叶斯聚类模型(例如混合模型)的推断时,输出通常是从后验分布中提取的聚类(分区)的样本。在实践中,一个关键的挑战是如何总结这一产出。在这里,我们建立后验相似性矩阵(PSM)的概念,以提出新的方法来总结贝叶斯聚类模型的MCMC算法的输出。我们的工作的一个关键贡献是观察到PSM是半正定的,因此可以用来定义概率动机的内核矩阵,捕获数据中存在的聚类结构。这一观察使我们能够采用一系列的核方法,以获得汇总聚类,否则利用PSM总结的信息。例如,如果我们有多个PSM,每个PSM对应于一组公共统计单元上的不同数据集,我们可以使用标准方法来组合内核,以便执行集成聚类。此外,我们可以将PSM嵌入预测内核模型中,以执行结果引导的数据集成。我们证明了所提出的方法的性能,通过一系列的模拟研究,以及两个真实的数据应用。R代码可在https://github.com/acabassi/combine-psms上获得。
2020-09-27 stat.ME stat.ML
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany(慕尼黑技术大学)
本文提出基于老虎机反馈的非参数聚类框架,利用核方法在再生核希尔伯特空间中进行聚类,提供理论保证并分析采样预算,适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Causal Learning for Heterogeneous Subgroups Based on Nonlinear Causal Kernel Clustering
East China University of Science and Technology(华东理工大学)
针对多源异构数据中单一因果模型无法准确表征所有观测数据复杂因果关系的问题,本文提出非线性因果核聚类方法,通过构建u中心样本映射函数聚类异质子群,有效识别子群因果关系差异并提升因果学习性能。
2025-02-08 cs.LG stat.ML
Brain-Network Clustering via Kernel-ARMA Modeling and the Grassmannian
University at Buffalo, The State University of New York (SUNY)(纽约州立大学布法罗分校);Drexel University(德雷塞尔大学);Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
随着神经科学、功能磁共振成像(fMRI)和脑电图(EEG)技术的发展,人们对通过时间序列分析进行脑网络聚类的兴趣越来越大。尽管如此,大多数脑网络聚类方法都围绕状态聚类和/或节点聚类(也称为节点聚类)。社区发现或拓扑推断)。这项工作首先回答了需要捕捉非线性节点的依赖关系,提出了一种新的特征提取机制,通过内核自回归移动平均建模。提取的特征被映射到格拉斯曼流形(格拉斯曼流形),它由一个固定的秩的所有线性子空间。通过格拉斯曼的黎曼几何,提供了一个统一的聚类框架来解决网络中所有可能的聚类问题:聚类多个状态,检测状态中的社区,甚至识别/跟踪子网状态序列。所提出的方法的有效性强调了广泛的数值试验的合成和真实的fMRI/EEG数据,这表明所倡导的学习方法相比,有利的几个国家的最先进的聚类方案。
2019-06-05 cs.LG eess.SP stat.ML
M-decomposability, elliptical unimodal densities, and applications to clustering and kernel density estimation
Chia和Nakano(2009)引入了一维概率密度的M-可分解性的概念。本文将M-可分解性推广到任意维数。我们证明了所有的椭圆单峰密度都是M-不可分解的。我们还推导出一个不等式,表明它是更好地表示M-可分解的密度通过单峰密度的混合。最后,我们展示了应用M-分解聚类和核密度估计,使用真实和模拟数据。我们的结果表明,M-可分解性可以作为一个非参数的标准来定位模式的概率密度。
2010-04-21 math.ST stat.ME stat.ML
Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification
University of Electronic Science and Technology of China(电子科技大学);JD AI Research(京东人工智能研究院)
多核学习(MKL)方法通常被认为比单核方法性能更好。然而,一些实证研究表明,这并不总是正确的:多个内核的组合甚至可能产生比使用单个内核更差的性能。失败有两个可能的原因:(i)大多数现有的MKL方法假设最优内核是基本内核的线性组合,这可能不成立;以及(ii)由于噪声和粗心设计的算法,一些内核权重被不适当地分配。在本文中,我们提出了一种新的MKL框架,通过以下两个直观的假设:(i)每个内核是共识内核的扰动;(ii)接近共识内核的内核应该被分配一个大的权重。令人印象深刻的是,所提出的方法可以自动分配一个适当的权重,每个内核,而无需引入额外的参数,现有的方法。该框架被集成到一个统一的框架,基于图的聚类和半监督分类。我们在多个基准数据集上进行了实验,实验结果验证了该框架的优越性。
2018-06-20 cs.AI cs.CV cs.LG
A reproducible comparative study of categorical kernels for Gaussian process regression, with new clustering-based nested kernels
Safran Tech, Digital Sciences \& Technologies, 78114 Magny-Les-Hameaux, France;Centre de Mathématiques Appliquées, Ecole polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France;Univ Rennes, Ensai, CNRS, CREST - UMR 9194, F-35000 Rennes, France
该研究针对高斯过程回归中分类核设计难、现有研究缺乏可复现性的问题,开展多测试用例可复现比较,提出新评估指标与基于聚类的嵌套核策略,在多数据集上实现更优性能与低计算成本。
2025-10-02 cs.LG stat.ML
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research(Snap 研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);National University of Singapore(新加坡国立大学);Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所)
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类,而成对相似性对它们的性能至关重要。在本文中,我们提出了一种新的判别相似性学习框架,学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器,并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析,将核分类器的泛化误差界表示为不同类数据的两两相似度之和,并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的,并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性,我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
The geometry of kernelized spectral clustering
数据集的聚类是科学和工程的许多领域中的标准问题。谱聚类的方法是基于使用核函数嵌入数据集,并使用归一化拉普拉斯算子的顶部特征向量来恢复连通分量。我们研究了谱聚类在恢复i.i.d.的潜在标签的性能。样本来自非参数分布的有限混合。这个标签恢复问题的难度取决于混合成分之间的重叠,以及如何容易将混合成分分成两个不重叠的成分。当重叠是小的混合物成分的不可分割性相比,人口水平的归一化拉普拉斯算子的主特征空间近似由平方根核化的成分密度。在有限样本条件下,在相同的假设条件下,当样本量较大时,来自不同成分的嵌入样本以高概率近似正交。作为一个推论,我们控制的分数的样本错误标记的谱聚类下有限的混合物与非参数成分。
2015-04-07 math.ST stat.ML stat.TH
Kernel Treelets
University of California Santa Barbara(加州大学圣巴巴拉分校)
提出了一种新的层次聚类方法。它结合了Trevet,一个特定的多尺度分解的数据,与再生核希尔伯特空间上的投影。所提出的方法,称为核Trexing(KT),有效地替代了相关系数矩阵Trexing中使用的对称,半正定矩阵有效地构建从核函数。与大多数要求数据集为数值的聚类方法不同,KT可以应用于更一般的数据,并直接在特征空间中基于数据产生多分辨率序列。通过实例说明了KT在聚类分析中的有效性和潜力。
2018-12-12 cs.LG stat.ME stat.ML
Nonlinear Bayesian Update via Ensemble Kernel Regression with Clustering and Subsampling
本研究提出基于集成核回归、结合子采样与聚类的非线性贝叶斯更新方法,拓展集成卡尔曼滤波至非高斯先验与非线性测量场景,实验验证其在强非线性下比标准线性更新的估计误差更低。
2025-03-19 math.PR math.ST stat.ML
On the robustness of kernel-based pairwise learning
University of Bayreuth(拜罗伊特大学)
结果表明,基于核的成对学习的统计鲁棒性的许多结果可以在基本上没有假设的输入和输出空间。特别地,在给定X = x的情况下,既不需要Y的条件分布上的矩条件,也不需要输出空间的有界性。我们得到的影响函数的存在性和有界性的结果,并显示定性的鲁棒性的基于核的估计。本文通过允许预测函数采用两个参数来推广Christmann和Zhou(2016)的结果,因此可以应用于各种情况,例如排名。
2020-10-29 cs.LG stat.ML
Multiple kernel learning for integrative consensus clustering of 'omic datasets
MRC Biostatistics Unit(MRC生物统计学单元);Cambridge Institute of Therapeutic Immunology & Infectious Disease(剑桥治疗免疫学与传染病研究所);University of Cambridge(剑桥大学)
不同的应用程序-特别是在肿瘤亚型-已经证明了整合聚类技术的重要性,从多个数据源的信息相结合。聚类分析(COCA)就是一种广泛应用于肿瘤亚型分析的方法。然而,COCA的属性从未被系统地探索过,并且它对包含噪声数据集或定义冲突聚类结构的数据集的鲁棒性尚不清楚。我们严格基准COCA,并提出核学习集成聚类(KLIC)作为一种替代策略。KLIC将组合聚类结构的挑战框定为多核学习问题,其中不同的数据集各自为最终聚类提供加权贡献。这允许噪声数据集的贡献相对于信息量更大的数据集被降低权重。我们通过仿真研究比较了KLIC和COCA在各种情况下的性能。我们还介绍了KLIC和COCA在癌症亚型和转录模块发现的实际数据应用中的输出。R软件包“klic”和“coca”可以在Comprehensive R Archive Network上找到。
2020-05-18 cs.LG stat.AP stat.ME
A warped kernel improving robustness in Bayesian optimization via random embeddings
该工作扩展了随机嵌入贝叶斯优化方法,通过在协方差核内集成高维子空间的翘曲。所提出的翘曲,依赖于基本的几何考虑,允许减轻高外在维度的缺点,同时避免算法评估点给出多余信息。它还简化了嵌入域的边界选择约束,从而提高了鲁棒性,如具有25个变量和内在维度6的测试用例所示。
2015-03-18 math.OC stat.ML
Leveraging tensor kernels to reduce objective function mismatch in deep clustering
NORCE Norwegian Research Centre(挪威研究中心(NORCE));UiT The Arctic University of Norway(挪威北极大学);University of Copenhagen(哥本哈根大学);Norwegian Computing Center(挪威计算中心)
针对深度聚类中基于自编码器方法导致的目标函数不匹配问题,提出利用张量核函数的无监督伴随目标(UCOs),有效降低了目标间的不匹配并提升了聚类性能。
2024-02-13 cs.CV cs.LG stat.ML
Semi-supervised Kernel Metric Learning Using Relative Comparisons
UC - Santa Cruz(加州大学圣克鲁兹分校);Aalto University(阿尔托大学);Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Finnish Institute of Occupational Health(芬兰职业健康研究所)
我们考虑的问题的度量学习受一组约束的数据项之间的相对距离比较。这样的约束意味着反映没有直接在数据项的特征向量中表达的边信息。在这项工作中使用的相对距离约束是特别有效的表达结构在更精细的细节层次比必须链接(ML)和不能链接(CL)的约束,这是最常用的半监督聚类。因此,相对距离约束在提供ML或CL约束是困难的设置中是有用的,因为真实聚类的粒度是未知的。我们的主要贡献是一个有效的算法学习的核矩阵使用的对数行列式发散-一个变种的Bregman发散-受一组相对距离的限制。然后,学习的核矩阵可以在广泛的应用中被许多不同的核方法采用。在我们的实验评估中,我们考虑了半监督聚类设置,并根据经验表明,我们的算法发现的内核产生的聚类质量高于现有的方法,无论是使用ML/CL约束或不同的手段来实现使用相对比较的监督。
2016-12-03 cs.LG stat.ML
Two-way kernel matrix puncturing: towards resource-efficient PCA and spectral clustering
GIPSA-lab(格勒诺布尔阿尔卑斯大学物理与信息科学研究所);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔国立理工学院);University Grenoble-Alps(格勒诺布尔阿尔卑斯大学);CentraleSupélec(中央理工-高等电力学院);University Paris Saclay(巴黎萨克雷大学)
本文介绍了一种降低谱聚类和主成分分析的基本代价和存储量的方法。该方法包括通过伯努利掩码随机地“穿孔”数据矩阵$X\in\mathbb{C}^{p\times n}$(或$\mathbb{R}^{p\times n}$)及其对应的核(Gram)矩阵$K$:用于$X$的$S\in\{0,1\}^{p\times n}$和用于$K$的$B\in\{0,1\}^{n\times n}$。因此,所得到的“双向穿孔”内核由$K=\frac{1}{p}[(X \odot S)^{\sf H} (X \odot S)] \odot B$给出。我们证明,$X$组成的独立列从高斯混合模型,$n,p\to\infty$与$p/n\to c_0\in(0,\infty)$,$K$的频谱行为-其限制本征值分布,以及其孤立的本征值和本征向量-是完全易于处理的,并表现出一系列的反直观的现象。我们特别证明,并在GAN生成的图像数据库上经验性地证实,有可能大幅刺穿数据,从而提供可能巨大的计算和存储增益,以实现几乎恒定的(PCA聚类)性能。这项初步研究从大维度的角度重新思考了基本机器学习模型的计算和存储成本。
2021-05-17 cs.LG stat.ML
Hypergraph Modeling via Spectral Embedding Connection: Hypergraph Cut, Weighted Kernel $k$-means, and Heat Kernel
University College London(伦敦大学学院)
我们提出了一个理论框架的多路相似性模型的实值数据到超图聚类通过谱嵌入。对于基于图割的谱聚类,通常通过使用核函数建模成对相似性来将实值数据建模为图。这是因为核函数与图割有理论上的联系。对于使用多路相似性比成对相似性更合适的问题,很自然地将其建模为超图,超图是图的推广。然而,尽管超图割已经得到了很好的研究,但还没有建立一个基于超图割的框架来建模多路相似性。在本文中,我们制定了多路相似性利用核函数的理论基础。我们表明我们的配方和超图切在两种方式,推广加权核$k$ -手段和热核,我们证明我们的配方之间的理论联系。我们还提供了一个快速算法的谱聚类。我们的算法经验显示出更好的性能比现有的图和其他启发式建模方法。
2022-08-16 cs.LG stat.ML
Multi-kernel spectral clustering: Entrywise eigenvector perturbation bounds and exact recovery
Nanyang Technological University(南洋理工大学);University of Macau(澳门大学);Dalian University of Technology(大连理工大学)
针对高维多尺度数据的单一带宽核谱聚类不足问题,提出多核谱聚类方法,建立逐元素特征向量扰动界,证明其结合近似K-means可高概率实现数据精确恢复。
2026-08-11 cs.LG math.ST stat.ML
Clustering with Similarity Preserving
University of Electronic Science and Technology of China(电子科技大学);University of Pennsylvania(宾夕法尼亚大学);Institute for Infocomm Research, A*Star(新加坡科技研究局资讯通信研究院)
基于图的聚类在许多任务中表现出良好的性能。基于图的方法的一个关键步骤是相似图的构造。一般来说,核空间中的学习图由于引入了非线性,可以提高聚类精度。然而,大多数现有的基于核的图学习机制不是相似性保持的,因此导致次优性能。为了克服这个缺点,我们提出了一个更具鉴别力的图学习方法,它可以保持样本之间的成对相似性,在自适应的方式为第一次。具体来说,我们要求学习的图接近核矩阵,这是原始数据相似性的度量。此外,该结构是自适应调整,使图的连接组件的数量是完全等于集群的数量。最后,我们的方法结合聚类和图学习,可以直接从图本身获得聚类指标,而无需执行进一步的聚类步骤。在几个数据集上的单个和多个内核学习场景中检查了这种方法的有效性。
2019-05-21 cs.AI cs.CV cs.LG