Data Structures & Algorithms for Exact Inference in Hierarchical Clustering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National Institute of Standards and Technology(美国国家标准与技术研究院);New York University(纽约大学)
层次聚类是一项基本任务,通常用于发现数据中有意义的结构,如系统发育树,概念分类,癌症亚型和粒子物理学中的粒子衰变级联。由于可能的分层聚类的组合数量,通常使用近似算法进行推断。在现有的方法相比,我们提出了新的动态规划算法的\emph{exact}推理的层次聚类的基础上,一种新的网格数据结构,我们证明了我们可以准确地计算分区函数,最大似然层次,和边缘概率的子层次和集群。我们的算法在时间和空间上与$N$元素的幂集成比例地缩放,这比显式地考虑(2N-3)!!可能的等级。此外,对于更大的数据集,我们的精确算法变得不可行,我们引入了一个近似算法的基础上稀疏网格比较以及其他基准。精确的方法是相关的粒子物理学的数据分析和癌症基因组学中的基因表达之间的相关性,我们在这两个领域,我们的算法优于贪婪和束搜索基线的例子。此外,我们考虑Dasgupta的成本与合成数据。
2020-10-22 cs.DS cs.LG physics.data-an
Fast Exact k-Means, k-Medians and Bregman Divergence Clustering in 1D
Aarhus University(奥胡斯大学);University of California, San Diego(加利福尼亚大学圣地亚哥分校);New Mexico State University(新墨西哥州立大学)
$n$点上的$k$ -均值聚类问题对于任何维数$d\ge 2$都是NP难的,然而,对于1D情况存在精确的多项式时间算法。以前的文献报道了使用$O(kn)$空间的$O(kn^2)$时间动态规划算法。事实证明,这个问题在20多年前就已经以不同的名称被考虑过了。我们提出了所有被忽视的现有工作,并从理论上比较各种解决方案。此外,我们展示了如何减少其中一些的空间使用,以及将它们推广到可以快速报告任何$k$的最佳$k$均值聚类的数据结构。最后,我们还推广了所有的算法工作的绝对距离和工作的任何布雷格曼分歧。我们补充我们的理论贡献的实验,比较各种算法的实际性能。
2018-04-25 cs.AI cs.DS cs.LG
Exact and rapid linear clustering of networks with dynamic programming
University of Vermont(佛蒙特大学);Université Laval(拉瓦尔大学)
针对一维位置网络的聚类问题,本文提出 O(n^2) 动态规划算法,可为多类目标给出可证明最优解,并在相近运行时间内显著优于现有启发式方法。
2023-12-08 cs.DS cs.LG cs.SI
Scalable Exact Hierarchical Agglomerative Clustering via Sparse Geographic Distance Graphs
WU Vienna University of Economics and Business(维也纳经济与商业大学);University of Oulu(奥卢大学)
本文提出GSHAC系统,通过稀疏地理距离图实现大规模地理数据的精确层次聚类,有效降低时间和内存消耗,适用于百万级地理特征的处理。
2026-11-04 cs.CG cs.DS
Dynamic data summarization for hierarchical spatial clustering
Sejong University(世宗大学);Petabi Inc(佩塔比公司)
针对动态场景下HDBSCAN需重算聚类层次的问题,提出精确更新算法及基于Bubble-tree的在线-离线动态数据摘要框架,在保证压缩质量的同时显著提升动态数据聚类的运行性能。
2024-11-26 cs.DB cs.DS cs.LG
Exact Exponential Algorithms for Clustering Problems
在本文中,我们发起了一个系统的研究精确的算法,众所周知的聚类问题,即$k$ -中位数和$k$ -手段。在$k$ -Median中,输入由属于度量空间的$n$点的集合$X$组成,任务是选择$k$点的子集$C \subseteq X$作为中心,使得每个点到其最近中心的距离之和最小化。在$k$ -Means中,目标是最小化距离的平方和。很容易设计一个在时间上运行的算法$\max_{k\leq n} {n \choose k} n^{O(1)} = O^*(2^n)$($O^*(\cdot)$表示法隐藏了$n$中的多项式因子)。我们设计了这些问题的第一个非平凡的精确算法。特别是,我们得到了一个$O^*((1.89)^n)$的时间精确算法$k$ -中位数,适用于任何值的$k$。我们的算法是非常通用的,因为它不使用底层(度量)空间的任何属性-它甚至不需要距离来满足三角不等式。特别地,相同的算法也适用于$k$ -均值。我们补充这一结果表明,我们的算法的运行时间是渐近最优的,到基地的指数。也就是说,除非ETH失败,否则没有针对这些问题的算法在时间上运行$2^{o(n)} \cdot n^{O(1)}$。最后,我们考虑这些聚类问题的“供应商”版本,其中,除了集合$X$,我们还给出了一组$m$候选中心$F$,目标是找到一个子集的$k$中心$F$。目标仍然是最小化$k$ -中位数/ $k$ -平均值/ …
2022-08-14 cs.DS
Socially Fair Center-based and Linear Subspace Clustering
Indian Institute of Science(印度科学学院);University of Maryland, College Park(马里兰大学帕克分校);Microsoft Research(微软研究院)
基于中心的集群(例如,$k$ -均值,$k$ -中位数)和使用线性子空间的聚类是将真实世界数据划分为更小聚类的两种最流行的技术。然而,当数据由敏感的人口统计组组成时,不同敏感组的每个点的显著不同的聚类成本可能导致公平性相关的损害(例如,不同的服务质量)。社会公平聚类的目标是最小化所有组中每个点的最大聚类成本。在这项工作中,我们提出了一个统一的框架来解决社会公平的基于中心的聚类和线性子空间聚类,并给出实用,高效的近似算法这些问题。我们做了大量的实验,以表明在多个基准数据集上,我们的算法要么接近匹配,要么优于最先进的基线。
2022-08-22 cs.CY cs.DS cs.LG
A Local Clustering Algorithm for Massive Graphs and its Application to Nearly-Linear Time Graph Partitioning
我们研究了大型图的局部算法的设计。局部算法是指在不查看整个图的情况下找到包含或靠近给定顶点的解的算法。我们提出了一个局部聚类算法。我们的算法找到一个好的集群-一个子集的顶点,其内部连接显着丰富比其外部连接-附近的一个给定的顶点。我们的算法的运行时间,当它找到一个非空的本地集群,是几乎线性的集群的大小,它输出。我们的聚类算法可以是一个有用的原始处理大量的图形,如社交网络和网络图。作为该聚类算法的一个应用,我们提出了一个分区算法,找到一个近似的稀疏切割与近最佳的平衡。我们的算法所需的时间几乎线性的图的边数。使用本文的分区算法,我们设计了一个近线性时间算法构造谱稀疏的图,我们反过来使用在一个近线性时间算法求解线性系统的对称,对角占优矩阵。线性系统求解器还导致一个近似的第二个最小的特征值和相应的特征向量的拉普拉斯矩阵的图的线性时间算法。这些其他结果在两个同伴论文。
2008-09-18 cs.DM cs.DS
Linear-Time Approximation Scheme for k-Means Clustering of Affine Subspaces
在本文中,我们提出了一个线性时间近似计划的$k$ -均值聚类的\emph{incomplete}数据点在$d$维欧氏空间。具有$Δ>0$未指定条目的\emph{incomplete}数据点被表示为维度为$Δ$的轴平行仿射子空间。两个不完整数据点之间的距离定义为数据点对应的轴平行仿射子空间中两个最近点之间的欧氏距离。我们提出了一个算法$k$ -均值聚类的轴平行仿射子空间的尺寸$Δ$,产生一个$(1+ε)$ -近似解决方案,在$O(nd)$时间。隐藏在$O(\cdot)$后面的常量仅取决于$Δ, ε$和$k$。这改进了Eiben等人的$O(n^2 d)$时间算法。[SODA[21]以$n$为因子。
2021-06-27 cs.CG cs.DS
Optimal LP Rounding and Linear-Time Approximation Algorithms for Clustering Edge-Colored Hypergraphs
本文研究边着色超图聚类的可近似性,基于线性规划提出紧的近似保证,并给出线性时间组合2-近似算法及与顶点覆盖等目标的联系。
2023-05-13 cs.DM cs.DS cs.SI
Clustering under Perturbation Stability in Near-Linear Time
在扰动稳定性假设下,研究了低维欧氏空间中基于中心的聚类问题。如果即使所有成对距离受到最多$α$因子的任意扰动,底层最佳集群也继续保持最佳,则实例是$α$稳定的。我们的主要贡献是在提出有效的精确算法$α$ -稳定的聚类实例,其运行时间依赖于近线性的数据集的大小时,$α\ge 2 + \sqrt{3}$。对于$k$ -中心和$k$ -均值问题,我们的算法也实现了对聚类数$k$的多项式依赖,当$α\geq 2 + \sqrt{3} + ε$对于任意固定维数的任意常数$ε> 0$.对于$k$ -中位数,我们的算法在任何固定维度上对$α> 5$的$k$具有多项式依赖性;对于二维的$α\geq 2 + \sqrt{3}$,我们的算法对$k$具有多项式依赖性。我们的算法是简单的,只需要应用技术,如本地搜索或动态规划到一个适当修改的度量空间,结合仔细选择的数据结构。
2020-09-30 cs.CG cs.DS
Relax, no need to round: integrality of clustering formulations
Princeton University(普林斯顿大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们研究凸松弛的点云聚类问题的精确恢复条件,专注于两个最常见的无监督聚类优化问题:$k$ -均值和$k$ -中值聚类。关注凸松弛的动机是:(a)它们带有最优性证书,以及(b)它们是相对无参数的通用工具,不针对输入的特定假设。更确切地说,我们考虑的分布设置,其中有$k$集群在$\mathbb{R}^m$和数据从每个集群组成的$n$点采样从一个对称分布内的球的单位半径。我们要求:凸松弛所需的簇中心之间的最小分离距离是多少,以精确地将这些$k$簇恢复为最优积分解?对于$k$ -中位数线性规划松弛,我们显示了一个紧的界限:精确的恢复得到任意小的成对分离$ε> 0$之间的球。换句话说,成对中心间隔是$Δ> 2+ε$。在相同的分布模型下,$k$ -意味着LP弛豫不能在与$Δ= 4$一样大的分离处恢复这样的簇。然而,如果我们对$k$ -均值LP强制PSD约束,我们在中心分离$Δ> 2\sqrt2(1+\sqrt{1/m})$处得到精确的聚类恢复。相比之下,常见的算法,如劳埃德算法(又称Lloyd's algorithm),$k$ -均值算法)在这种设置下可能无法恢复集群;即使具有任意大的集群分离,具有任何恒定因子的种子覆盖的k-means++在精确的集群恢复时以高概率失败。为了补充理论分析,我们提供了一个实验研究的恢复保证这些不同的方法,并讨论了几个开放的问题,这些实验表明。
2015-04-15 cs.DS cs.LG math.ST
Multi Layer Peeling for Linear Arrangement and Hierarchical Clustering
该研究提出多层剥离技术,为度量空间下的最大线性排列和最大层次聚类问题设计了1-ε近似方案,显著优于以往的0.5和0.74近似比。
2023-05-02 cs.CG cs.DS
Contraction Clustering (RASTER): A Very Fast Big Data Algorithm for Sequential and Parallel Density-Based Clustering in Linear Time, Constant Memory, and a Single Pass
Fraunhofer-Chalmers Research Centre for Industrial Mathematics(弗劳恩霍夫-查尔默斯工业数学研究中心);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
RASTER是一种线性时间、常数内存、单次遍历的快速密度聚类算法,适用于大规模数据处理。
2026-01-25 cs.DS cs.LG
Linear Probing Revisited: Tombstones Mark the Death of Primary Clustering
线性探测于1954年首次引入,是计算机科学中最古老的数据结构之一,由于其无与伦比的数据局部性,它仍然是实践中最快的哈希表之一。然而,人们普遍认为并教导,线性探测不应在高负载因子下使用;这是因为主聚类效应导致在负载因子$1 - 1 /x$下的插入花费预期的时间$Θ(x^2)$(而不是理想的$Θ(x)$)。主聚类的危险,首先由Knuth在1963年发现,已经被教导给几代计算机科学家,并影响了许多广泛使用的哈希表的设计。我们表明,主要集群是不是一个定局。我们证明,小的设计决策,在如何删除实施插入的渐近性能有显着的影响,因此,即使一个哈希表连续运行在一个负载因子$1 - Θ(1/x)$,每次操作的预期摊销成本是$\tilde{O}(x)$。这是因为由删除创建的墓碑实际上会导致对抗主聚类的反聚类效应。我们还提出了一种新的线性探测(我们称之为墓地哈希),完全消除了主集群上的\emph{any}操作序列:如果,当一个操作被执行,当前的负载因子是$1 - 1/x$的一些$x$,那么操作的预期成本是$O(x)$。一个推论是,在数据块大小为$B$的外部内存模型中,墓地哈希提供了以下显著的保证:在任何满足$x = o(B)$的负载因子$1 - 1/x$,墓地哈希实现了每次操作的$1 + o(1)$预期块传输。过去的外部存储器哈希表只能在块大小$B$至少为$Ω(x^2)$时提供$1 + o(1)$保证。
2021-07-02 cs.DS math.CO
Natural Hierarchical Cluster Analysis by Nearest Neighbors with Near-Linear Time Complexity
我们提出了一个基于最近邻的聚类算法,结果在一个自然定义的层次结构的集群。相反,凝聚和分裂的层次聚类算法,我们的方法是不依赖于迭代工作的算法,在这个意义上说,分区的层次聚类纯粹是根据输入数据集定义。我们的方法是一个通用的层次聚类方法,因为它可以实现为自自底向上的或自上而下的版本,这两种结果在相同的聚类。我们表明,对于某些类型的数据集,我们的算法具有接近线性的时间和空间复杂度。
2022-03-15 cs.DS cs.LG stat.ML
Near-Linear Time Approximation Schemes for Clustering in Doubling Metrics
本文研究了双维度量空间$d$中的经典设施选址、$k$ -Median和$k$ -Means问题。我们给每个问题的近线性时间近似方案。我们的算法的复杂性是$2^{(\log(1/\eps)/\eps)^{O(d^2)}} n \log^4 n + 2^{O(d)} n \log^9 n$,使一个显着的改进,在时间上运行的最先进的算法$n^{(d/\eps)^{O(d)}}$。此外,我们展示了如何扩展的技术,用于获得第一个有效的近似方案的问题,奖金收集$k$ -中位数和$k$ -手段,和有效的双准则近似方案$k$ -中位数与离群值,$k$ -均值与离群值和$k$ -中心。
2020-05-20 cs.CG cs.DS
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学);Fudan University(复旦大学);Princeton Univeristy(普林斯顿大学)
垂直联邦学习(Vertical Federated Learning,VFL)是机器学习的一个重要研究领域,它将数据特征分布存储在多方。然而,VFL的通信复杂性通常非常高。在本文中,我们提出了一个统一的框架,通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置:正则化线性回归和$k$均值聚类,并将我们的coreset框架,这两个问题。我们从理论上表明,使用coresets可以大大降低通信复杂性,而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
Hierarchical Agglomerative Graph Clustering in Nearly-Linear Time
MIT(麻省理工学院);Google Research(谷歌研究院)
研究了边加权图上的层次凝聚聚类算法。我们定义了一个算法框架的层次凝聚图聚类,提供了第一个有效的$\tilde{O}(m)$时间精确算法的经典链接的措施,如完整的和WPGMA链接,以及其他措施。此外,平均链接,可以说是最流行的变体HAC,我们提供了一个算法,运行在$\tilde{O}(n\sqrt{m})$的时间。对于这个变体,这是第一个在次二次时间内运行的精确算法,只要对某个常数$ε> 0$执行$m=n^{2-ε}$。我们补充这一结果与一个简单的$ε$接近近似算法的平均链接在我们的框架中运行在$\tilde{O}(m)$的时间。作为我们的算法的一个应用,我们考虑聚类点在度量空间中,首先使用$k$ -NN生成一个图的点集,然后运行我们的算法产生的加权图。我们在公开数据集上验证了我们的算法的性能,并表明我们的方法可以将点数据集的聚类速度提高20.7- 76.5倍。
2021-06-10 cs.AI cs.CV cs.DS
Linear Programming based Approximation to Individually Fair k-Clustering with Outliers
Indian Institute of Technology, Gandhinagar(印度理工学院甘地纳格尔分校)
本文针对含离群点的k均值聚类,提出基于线性规划识别离群点并排除,再通过舍入算法计算中心,满足个体公平性约束,提供理论近似保证并实证验证。
2024-12-14 cs.DS cs.LG stat.ML
Faster Balanced Clusterings in High Dimension
Michigan State University(密歇根州立大学);University of Science and Technology of China(中国科学技术大学)
约束聚类问题在过去的几十年里引起了人们的极大关注。在本文中,我们研究了平衡$k$ -中心,$k$ -中位数,和$k$ -均值聚类问题,其中每个集群的大小是由给定的下限和上限的约束。这些问题的产生是由于其在处理大规模高维数据中的应用。现有的方法往往需要计算复杂的匹配(或最小费用流),以满足平衡约束,从而遭受高复杂度,特别是在高维。我们开发了一个有效的框架的三个平衡聚类问题来解决这个问题,我们的方法是基于一个新的空间分割的几何思想。对于平衡的$k$ -中心聚类,我们提供了一个$4$ -近似算法,提高了现有的近似因子;对于平衡的$k$ -中位数和$k$ -均值聚类,我们的算法产生常数和$(1+ε)$ -近似因子与任何$ε>0$。更重要的是,当$k$是一个常数时,我们的算法实现了线性或接近线性的运行时间,并显着改善现有的。我们的结果可以很容易地扩展到度量平衡聚类和运行时间是次线性的$n$ -点度量的复杂性。
2018-09-10 cs.CG cs.DS cs.LG