Improved Coresets for Clustering with Capacity and Fairness Constraints
本文提出近线性时间 coreset 构造算法,通过自适应环采样和有效中心几何分析,显著改进容量与公平约束 (k,z)-聚类的 coreset 规模界。
2023-07-14 cs.CG cs.DS
Coreset Spectral Clustering
University of Edinburgh(爱丁堡大学);Japan Advanced Institute of Science and Technology (JAIST)(日本先进科学技术研究所);University of St Andrews(圣安德鲁斯大学)
本文提出核心集谱聚类算法,通过聚类核心集图来推断原始图标签,将核k-means与归一化割结合,并改进稀疏核上核心集算法的运行时间,克服局部最优问题。
2025-03-10 cs.DS cs.LG
Coresets for Clustering in Euclidean Spaces: Importance Sampling is Nearly Optimal
给定$\mathbb{R}^d$中的$n$点的集合,$(k,z)$聚类问题的目标是找到$k$“中心”的子集,该子集使每个点到最近中心的欧几里得距离的$z$次幂之和最小化。$(k,z)$ -聚类问题的特殊情况包括$k$ -中位数和$k$ -均值问题。我们的主要结果是一个统一的两阶段重要性采样框架,构建了一个$\varepsilon$ -coreset的$(k,z)$ -聚类问题。与[Feldman和Langberg,STOC 2011]中的$(k,z)$聚类结果相比,我们的框架在核心集大小中节省了一个$\varepsilon^2 d$因子。与[Sohler and Woodruff,FOCS 2018]中的$(k,z)$聚类结果相比,我们的框架在核心集大小中节省了一个$\operatorname{poly}(k)$因子,并在构建时间中避免了$\exp(k/\varepsilon)$项。具体而言,我们的$k$ -中位数($z=1$)的coreset具有大小$\tilde{O}(\varepsilon^{-4} k)$,与[Sohler and Woodruff,STOC 2018]中的结果相比,在coreset大小中节省了一个$k$因子。我们的算法结果依赖于一个新的降维技术,连接两个著名的形状拟合问题:子空间近似和聚类,并可能是独立的利益。我们还提供了$(k,z)$ -聚类的$0.01…
2020-05-14 cs.CG cs.DC cs.DS
The Power of Uniform Sampling for Coresets
出于实际推广的经典$k$ -中位数和$k$ -手段的目标,如集群的大小限制,公平聚类,和Wasserstein重心,我们引入了一个元定理设计约束聚类问题的核心集。元定理减少了coreset建设的任务,一个有界数量的环的实例与一个非常宽松的添加剂错误。这种减少使我们能够使用均匀采样来构造核心集,而不是广泛使用的重要性采样,因此我们可以很容易地处理约束目标。值得注意的是,也许令人惊讶的是,这种更简单的采样方案可以产生其大小与$n$(输入点的数量)无关的核心集。我们的技术产生较小的核心集,有时是第一个核心集,大量的约束聚类问题,包括容量限制聚类,公平聚类,欧几里德Wasserstein重心,在未成年人排除图聚类,和多边形聚类下Fréchet和Hausdorff距离。最后,我们的技术也产生较小的coreset的$1$ -中位数在低维欧氏空间,特别是大小$\tilde{O}(\varepsilon^{-1.5})$在$\mathbb{R}^2$和$\tilde{O}(\varepsilon^{-1.6})$在$\mathbb{R}^3$。
2022-09-18 cs.DS
Coresets for Clustering in Geometric Intersection Graphs
在基于中心的$k$ -聚类问题(如$k$ -means或$k$ -median)的研究中,设计核心集--$(1\pm ε)$ -近似因子中解的数据保持代价的小空间草图是一个重要的研究方向. Feldman和Langberg [STOC'11]已经表明,对于一般度量中的$n$点的$k$ -聚类,可以获得其大小在$n$中以几何方式依赖的核心集。此外,在一般度量中,$n$中的这种依赖性是不可避免的。该领域的大量近期工作致力于获得其大小独立于$n$的岩心(即,"small“coresets)的特殊度量,如$d$维欧氏空间,加倍度量,度量的图有界树宽,或那些不包括一个固定的小。在本文中,我们提供了第一个结构的小coreset的$k$ -聚类的度量诱导的几何求交图,如欧几里德加权单位圆盘/平方图。这些建设遵循一个一般定理,确定两个典型的性质,足以获得小coresets的图度量。我们定理的证明建立在Cohen-Addad,Saulpic和Schwiegelshohn [STOC '21]最近的工作基础上,该工作确保了以存在一组有趣的中心为条件的小尺寸coresets,称为“质心集”。我们工作的主要技术贡献是证明了满足这两个正则几何性质的图存在这样一个小尺寸的质心集。新的coreset结构有助于设计第一个$(1+ε)$近似的中心为基础的聚类问题在UDG和USG,这是固定参数的易处理的$k$和$ε$…
2023-03-02 cs.CG cs.DS
Fair Coresets and Streaming Algorithms for Fair k-Means Clustering
我们研究了Chierichetti等人提出的公平聚类问题(NIPS 2017)。在这里,点具有敏感属性,并且解决方案中的所有聚类都需要相对于它进行平衡(以抵消任何形式的数据固有偏差)。以前的算法公平聚类不伸缩性好。我们展示了如何建模和计算所谓的coresets公平聚类问题,它可以用来显着减少输入数据的大小。我们证明了coresets是可组合的,并展示了如何计算它们在流设置。此外,我们提出了一个变种的劳埃德算法,计算公平聚类,并将其扩展到一个公平的k-means++聚类算法。我们实现这些算法,并提供经验证据表明,我们的近似算法和coreset建设的组合产生一个可扩展的算法公平的k-均值聚类。
2021-03-09 cs.DS
Coresets for Clustering with Missing Values
我们提供了第一个coreset聚类点在$\mathbb{R}^d$有多个缺失值(坐标)。以前的核心层构造只允许一个坐标缺失。此设置中的挑战在于,目标函数(如$k$ -均值)仅在可用(非缺失)坐标集上进行评估,该坐标集在各点之间变化。回想一下,大型数据集的$ε$核心集是一个小的代理,通常是重新加权的点子集,$(1+ε)$ -近似每个可能的中心集的聚类目标。我们的$k$ -Means和$k$ -Median聚类的核心集具有大小$(jk)^{O(\min(j,k))} (ε^{-1} d \log n)^2$,其中$n$是数据点的数量,$d$是维度,$j$是每个数据点缺失坐标的最大数量。我们进一步设计了一种算法来在近线性时间内构建这些核心集,从而改进了最近的二次时间PTAS,用于$k$ -具有缺失值的均值[Eiben等人,SODA 2021]到近线性时间。我们验证我们的核心集建设,这是基于重要性采样,易于实现,在各种真实的数据集。我们的coreset表现出灵活的coreset大小和精度之间的权衡,一般优于均匀采样基线。此外,它显著加快了Lloyd's风格的启发式$k$ -具有缺失值的均值。
2021-11-11 cs.DS
Faster Coreset Construction for Projective Clustering via Low-Rank Approximation
在这项工作中,我们提出了一个随机coreset建设的投影聚类,其中包括计算一组$k$最接近的$j$维线性(仿射)子空间的一组给定的$d$维度的$n$向量。令$A \in \mathbb{R}^{n\times d}$为输入矩阵。Feldman \textit{et. al.}的早期确定性coreset构造依赖于计算$A$的SVD。用于SVD的最佳已知算法需要$\min\{nd^2, n^2d\}$时间,这对于$n$和$d$的大值可能是不可行的。通过将矩阵$A$的行投影到与矩阵$A$的右奇异向量非常接近的正交向量上,提出了一种核集构造方法.因此,当$k$和$j$的值较小时,与Feldman \textit{et. al.}的算法相比,我们能够实现更快的算法,同时保持几乎相同的近似。我们还受益于空间以及利用输入数据集的稀疏性。我们的方法的另一个优点是,它可以在流设置中非常有效地构建。
2018-07-16 cs.CG cs.DS
Coresets for Weight-Constrained Anisotropic Assignment and Clustering
本文构造了权约束各向异性分配和聚类的核心集。与研究得很好的无约束最小二乘聚类问题相比,在权重约束的各向异性情况下,近似聚类的质心不再足够,因为甚至涉及将点分配到最佳站点。这个分配步骤通常是材料科学中的限制因素,这是一个部分激励我们工作的问题。我们建立在Har-Peled和Kushal的一篇论文上,他们为无约束最小二乘聚类构建了大小为$\mathcal{O}\bigl(\frac{k^3}{ε^{d+1}}\bigr)$的核心集。我们推广和改进他们的结果在各种方式,导致更小的coresets的大小只有$\mathcal{O}\bigl(\frac{k^2}{ε^{d+1}}\bigr)$的权重约束的各向异性聚类。此外,我们回答了一个开放的问题coreset设计的负面影响,表明总的灵敏度可以成为大的基数的原始数据集在约束的情况下。因此,许多基于重要性采样的技术不适用于权重约束聚类。
2022-03-21 cs.DS math.OC
Coresets for Constrained Clustering: General Assignment Constraints and Improved Size Bounds
该研究针对通用约束聚类问题,提出含容量、分配结构的通用分配约束类,构建对应核心集,显著改进现有规模界,还首次得到多种场景下的小规模ε-核心集。
2024-10-10 cs.CG cs.DS
Randomized Greedy Algorithms and Composable Coreset for k-Center Clustering with Outliers
University of Science and Technology of China(中国科学技术大学)
本文研究了具有孤立点的{ \em $k$ -中心聚类}问题。该问题在现实世界中有许多重要的应用,但离群值的存在会显著增加计算复杂性。虽然在过去的几十年里,已经开发了许多方法,它仍然是相当具有挑战性的设计质量保证的算法,低复杂度的问题。我们的想法是启发贪婪的方法,冈萨雷斯的算法,这是解决普通的$k$中心聚类问题。基于一些新的观察,我们表明,这种贪婪策略的一个简单的随机版本实际上可以有效地处理离群值。我们进一步表明,这种随机贪婪的方法也产生小coreset的问题,在加倍度量(即使加倍维数是不给),这可以大大降低计算复杂性。此外,与arXiv:1703.01539中提出的部分聚类框架一起,我们证明了我们的coreset方法可以应用于具有低通信复杂性的分布式数据。实验结果表明,我们的算法可以获得接近最优的解决方案,并产生较低的复杂度相比,现有的方法。
2023-01-07 cs.DS cs.LG
On Optimal Coreset Construction for Euclidean $(k,z)$-Clustering
该研究针对欧氏$(k,z)$-聚类核心集规模的上下界差距问题,提出了新的最优下界及改进的上界构造算法,明确了大参数范围内的最优核心集规模。
2024-03-13 cs.CG cs.DS
Near-optimal Coresets for Robust Clustering
我们考虑$\mathbb{R}^d$中的鲁棒聚类问题,特别是$k$ -聚类问题(例如,$k$ -中位数和$k$ -具有$m$离群值的均值,其中给定中心集$C \subset \mathbb{R}^d$的成本聚合了从$C$到除最远$m$数据点以外的所有数据点的距离,而不是像经典聚类中那样聚合了所有点。我们专注于$ε$ -coreset强大的聚类,一个小的代理数据集,保留聚类成本内的$ε$ -相对误差的所有中心集。我们的主要结果是一个大小为$O(m + \mathrm{poly}(k ε^{-1}))$的$ε$核集,它可以在近线性时间内构造。这显著地改进了先前的结果,先前的结果要么对$(m + k)$具有指数依赖性[Feldman和Schulman,SODA'12],要么具有较弱的双标准保证[Huang等人,FOCS'18]。此外,我们表明这种依赖性在$m$是接近最优的,它是孤立的,从其他因素的事实可能是至关重要的处理大量的离群值。我们通过适应最近框架的离群值来构建我们的核心集[Braverman et al.,FOCS'22],克服了成本中的参与项,特别是被排除的$m$离群点依赖于中心集$C$的新挑战。我们在各种数据集上验证了我们的核心集,与包括均匀采样和敏感性采样在内的流行基线相比,我们观察到了一个优越的尺寸精度权衡。我们还实现了显着的加速现有的近似算法强大的聚类使用我们的核心集。
2022-10-19 cs.DS
Coresets for Clustering in Graphs of Bounded Treewidth
我们开始研究图度量中的聚类核心集,即,边权图的最短路度量这种聚类问题对于数据分析是必不可少的,例如用于道路网络和数据可视化。核心集是数据的紧凑摘要,近似地保留了每个可能的中心集的聚类目标,并且它在运行时间,存储和通信方面提供了显着的效率改进,包括在流和分布式设置中。我们的主要结果是一个近线性的时间结构的coreset的k-中位数在一般图$G$,大小为$O_{ε, k}(\mathrm{tw}(G))$,其中$\mathrm{tw}(G)$是树的宽度$G$,我们补充建设与一个接近紧的大小下限。该结构基于Feldman和Langberg [STOC 2011]的框架,根据该框架的要求,我们的主要技术贡献是在任何点权重下破碎维度上的$O(\mathrm{tw}(G))$的统一界。我们验证了我们的coreset在现实世界的道路网络,我们的可扩展算法构造微小的coreset具有高精度,这转化为现有的近似算法,如本地搜索图k-中位数的大规模加速。
2022-12-12 cs.DS
Coresets for Ordered Weighted Clustering
我们为有序k-Median设计核心集,这是经典聚类问题(如k-Median和k-Center)的推广,提供了更灵活的数据分析,例如轻松组合多个目标(例如,以增加公平性或用于帕累托优化)。它的目标函数是通过Yager(1988)的有序加权平均(OWA)范式定义的,其中数据点根据预定义的权重向量进行加权,但是按照它们对目标的贡献(到中心的距离)的顺序。一个强大的数据简化技术,称为核心集,是将$\mathbb{R}^d$中的点集$X$总结成一个小的(加权)点集$X'$,这样对于每个$k$潜在中心集,核心集$X'$的目标值近似于因子$1\pm ε$中的$X$的目标值。当有多个目标(权重)时,上述标准核心集可能用处有限,而在Bachem和Lucic和Lattanzi(2018)最近引入的\emph{simultaneous}核心集中,上述近似适用于所有权重(除了所有中心)。我们的主要结果是一个建设的同时coreset的大小$O_{ε, d}(k^2 \log^2 |X|)$有序k-中位数。为了验证我们的coreset构造的有效性,我们在一个真实的地理数据集上进行了实验。我们发现,我们的算法产生一个小的核心集,这转化为一个巨大的加速聚类计算,同时保持高精度的权重范围。
2019-03-11 cs.DS
A New Coreset Framework for Clustering
给定一个度量空间,$(k,z)$ -聚类问题包括找到$k$中心,使得距离的总和提高到每个点到其最近中心的幂$z$最小化。这概括了著名的$k$ -中位数($z=1$)和$k$ -均值($z=2$)集群问题。在过去的15年里,设计近似保留解决方案成本的数据的小空间草图(也称为\emph{coresets})一直是一个重要的研究方向。在本文中,我们提出了一个新的,简单的coreset框架,同时提高了最好的已知的各种设置的界限,范围从欧氏空间,加倍度量,小自由度量,和一般度量的情况下。
2022-07-29 cs.DS
Towards Optimal Lower Bounds for k-median and k-means Coresets
Google Research(谷歌研究院);Aarhus University(奥胡斯大学);Sorbonne Université(索邦大学)
给定度量空间中的一组点,$(k,z)$聚类问题包括找到一组称为中心的$k$点,使得每个数据点到其最近中心的距离之和最小化为$z$的幂。特殊情况包括著名的k-中位数问题($z = 1$)和k-均值问题($z = 2$)。$k$ -中位数和$k$ -均值问题是现代数据分析的核心,海量数据应用已经提出了coreset的概念:输入点集的一个小(加权)子集,保留问题的任何解决方案的成本,直到乘法$(1 \pm \varepsilon)$因子,从而从大到小减少问题的输入。在本文中,我们提出了各种度量空间中的coreset的改进的下界。在有限度量组成的$n$点和加倍度量与加倍常数$D$,我们表明,任何coreset的$(k,z)$聚类必须至少包括$Ω(k \varepsilon^{-2} \log n)$和$Ω(k \varepsilon^{-2} D)$点,分别。这两个边界都与先前的上限匹配,直到polylog因子。在欧氏空间中,我们证明了$(k,z)$聚类的任何核心集必须至少由$Ω(k\varepsilon^{-2})$点组成。我们补充这些下限与coreset建设组成的最多$\tilde{O}(k\varepsilon^{-2}\cdot \min(\varepsilon^{-z},k))$点。
2022-02-25 cs.CG cs.DS cs.LG
A Tight VC-Dimension Analysis of Clustering Coresets with Applications
本文提出基于 VC 维的紧致 coreset 构造分析,显著改进平面图最短路径度量与 Frechet 度量下 $k$-median 聚类的 coreset 规模界。
2025-01-11 cs.CG cs.DS cs.LG
Near-Optimal Quantum Coreset Construction Algorithms for Clustering
Peking University(北京大学)
本文提出用于 $k$-聚类的量子核心集构造算法,以 $\tilde{O}(\sqrt{nk}d^{3/2})$ 查询复杂度实现二次加速,并给出近乎匹配的 $Ω(\sqrt{nk})$ 下界。
2023-06-05 cs.AI cs.DS cs.LG
$\varepsilon$-Coresets for Clustering (with Outliers) in Doubling Metrics
研究了在双倍度量$M(X, d)$下$(k, z)$ -聚类问题的$\varepsilon$ -核心集的构造问题. $\varepsilon$ -coreset是具有权重函数$w : S \rightarrow \mathbb{R}_{\geq 0}$的加权子集$S\subseteq X$,使得对于任何$k$ -子集$C \in [X]^k$,它保持$\sum_{x \in S}{w(x) \cdot d^z(x, C)} \in (1 \pm \varepsilon) \cdot \sum_{x \in X}{d^z(x, C)}$。我们提出了一个有效的算法,构造一个$\varepsilon$ -coreset的$(k, z)$ -聚类问题的$M(X, d)$,其中的coreset的大小只取决于参数$k, z, \varepsilon$和加倍维数$\mathsf{ddim}(M)$。据我们所知,这是第一个有效的$\varepsilon$ -coreset建设的大小独立的$|X|$一般的聚类问题的两倍指标。为此,我们建立了$M(X, d)$的加倍维数与距离$d$诱导的射程空间的破碎维数(或VC维数)之间的第一个关系。这样的关系以前是不知道的,因为人们可以很容易地构造这样的实例,其中任何一个都不能被另一个(的某个函数)所约束。令人惊讶的是,我们表明,如果我们允许一个小的$(1\pmε…
2018-08-18 cs.DS
Towards Tight Robust Coresets for $k$-Medians Clustering
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学)
针对含离群点的鲁棒 $k$-中位数问题,提出在VC/倍增维度量空间和欧氏空间中大小接近最优的核心集构造,并推广到鲁棒 $(k,z)$-聚类。
2026-06-12 cs.CG cs.DM cs.DS
Coresets for Kernel Clustering
本文为一般核下的 kernel $k$-Means 构建大小为 $\mathrm{poly}(kε^{-1})$、近线性时间可构造的核心集,支持近似与流式算法,并在聚类和谱聚类中显著加速。
2024-04-06 cs.DS
A Nearly Optimal Size Coreset Algorithm with Nearly Linear Time
核心集是一个点集,它包含了一个更大的点集的几何属性的信息。一系列的工作表明,在许多机器学习问题,特别是聚类问题,coreset可以是非常有用的,以建立有效的算法。核心集构造算法性能的两个主要度量是算法的运行时间和算法输出的核心集的大小。本文研究了$(k,z)$ -聚类问题的核心集的构造,它是$k$ -均值和$k$ -中值问题的推广.通过适当地设计一个基于草图的距离估计数据结构,我们提出了更快的算法,构建coresets与匹配的大小的国家的最先进的结果。
2022-10-15 cs.DS
On Coresets for Clustering in Small Dimensional Euclidean Spaces
本文考虑欧氏空间中$k$ -Median的小核心集的构造问题。给定一个大的数据点集$P\subset \mathbb{R}^d$,核心集是一个小得多的集$S\subset \mathbb{R}^d$,因此$k$ -任何$k$中心相对于. $P$和$S$接近。现有的文献主要集中在高维的情况下,并已取得了很大的成功,在获得维数无关的界限,而小$d$的情况下,在很大程度上是未探索的。考虑到欧氏聚类算法的许多应用都是在小维空间中进行的,而目前文献中缺乏系统的研究,本文研究了小维空间中$k$ -Median的核心集.对于小的$d$,一个自然的问题是现有的接近最佳的尺寸无关的界限是否可以显着改善。我们提供肯定的答案,这个问题的一系列参数。此外,还证明了新的下界结果,这是最高的小$d$。特别地,我们完全解决了$1$ -d $k$ -Median的coreset大小界限(直到对数因子)。有趣的是,我们的结果暗示了$1$ -d $1$ -Median和$1$ -d $2$ -Median之间的强分离。据我们所知,这是第一次在任何维度上分离$k=1$和$k=2$。
2023-02-27 cs.DS
Coresets for constrained k-median and k-means clustering in low dimensional Euclidean space
University of Cologne(科隆大学)
我们研究(欧几里德)$k$ -中位数和$k$ -意味着在流模型的约束。最近,人们努力设计统一的算法来解决约束$k$ -均值问题,而不使用手头的特定约束的知识,除了温和的假设,如约束下的可行性的多项式可计算性(计算聚类是否满足约束)或存在有效的赋值oracle(给定一组中心,产生满足约束的点到中心的最优分配)。这些算法在$k$中具有运行时间指数,但可以应用于广泛的约束。我们证明了2019年提出的一种用于解决特定约束流$k$ -均值问题的技术,即公平的$k$ -均值聚类,实际上意味着所有这些约束的流算法。这些工作低维欧氏空间。[Note有更多的算法用于流传输公平的$k$ -意味着今天,特别是它们现在也存在于高维空间。
2021-06-14 cs.DS cs.LG
Coresets for Robust Clustering via Black-box Reductions to Vanilla Case
针对带m个异常值的鲁棒(k,z)-聚类,提出通过黑箱归约到普通聚类的ε-核心集构造方法,得到k接近线性大小的核心集(优于先前Ω(k²)结果),并在动态流设置中实现首个低空间复杂度的流算法。
2025-02-11 cs.DS
An Empirical Evaluation of $k$-Means Coresets
Aarhus University(奥胡斯大学)
核心集是汇总数据最流行的范例之一。特别是在理论和实践中,对于聚类问题,如$k$ -means,存在许多高性能的核心集。奇怪的是,目前还没有比较可用的$k$ -均值核心集的质量的工作。在本文中,我们进行这样的评价。目前还没有已知的算法来测量候选核心集的失真。我们提供了一些证据,为什么这可能是计算困难。为了补充这一点,我们提出了一个基准,我们认为,计算coresets是具有挑战性的,这也使我们能够一个简单的(启发式)评价coresets。使用这个基准测试和真实世界的数据集,我们进行了详尽的评估最常用的coreset算法从理论和实践。
2022-07-03 cs.DS cs.LG
Robust Coreset Construction for Distributed Machine Learning
Pennsylvania State University(宾夕法尼亚州立大学);IBM T. J. Watson Center(IBM托马斯·J·沃森研究中心);Army Research Laboratory(美国陆军研究实验室)
Coreset是在同一样本空间中以小加权集的形式对原始数据集的总结,它提供了一种有前途的方法,可以在分布式数据上实现机器学习。虽然被视为原始数据集的代理,但每个核心集仅被设计为近似特定机器学习问题的成本函数,因此通常需要不同的核心集来解决不同的机器学习问题,从而增加了通信开销。我们解决这个困境,通过开发强大的coreset建设算法,可以支持各种机器学习问题。基于经验证据表明,适当加权的k-聚类中心提供了一个强大的coreset,我们加强了观察,建立理论条件下,coreset提供了一个保证近似范围广泛的机器学习问题,并开发集中式和分布式算法来生成满足条件的coreset。通过在不同数据集上的大量实验,验证了所提出的算法在监督学习和无监督学习问题上的鲁棒性。
2020-06-22 cs.DS cs.LG stat.ML
New Frameworks for Offline and Streaming Coreset Constructions
一个点集的核心集是一个小的加权点子集,它近似地保留了原始集合的重要属性。具体地,如果$P$是点的集合,$Q$是查询的集合,并且$f:P\times Q\to\mathbb{R}$是成本函数,则如果$\sum_{s\in S}w(s)f(s,q)$是对所有$q\in Q$的$\sum_{p\in P}f(p,q)$的$(1+ε)$乘法近似,则具有权重$w:P\to[0,\infty)$的集合$S\subseteq P$是针对某个参数$ε>0$的$ε$ -coreset。Coresets用于解决各种大数据计算模型下机器学习的基本问题。在最近十年中,许多建议的核心集使用,或可以使用一个一般的框架来构建核心集,其大小取决于二次被称为总灵敏度$t$。本文将这个界从$O(t^2)$改进为$O(t\log t)$。因此,我们的研究结果意味着更多的空间有效的解决方案,一些问题,包括投影聚类,$k$线聚类,和子空间近似。此外,我们推广了灵敏度采样的概念,支持非乘法近似,负成本函数等。主要的技术成果是一个通用的减少学习一类有界VC维函数的样本复杂性。我们表明,获得一个$(ν,α)$ -样本这类功能与适当的参数$ν$和$α$足以实现空间有效的$ε$ -coresets。我们的研究结果意味着更有效的coreset建设一些有趣的问题在机器学习中,我们显示应用程序$k$ -中位数/ $k$ -手段,$k$ -…
2022-09-18 cs.DS
On Coreset Constructions for the Fuzzy $K$-Means Problem
Paderborn University(帕德博恩大学)
模糊$K$ -均值问题是将著名的$K$ -均值问题推广到软聚类的一种流行的方法。我们提出了第一个coresets的模糊$K$ -意味着尺寸线性的尺寸,多项式的聚类数,和多对数的点数。我们表明,这些coresets可以采用在计算的$(1+ε)$ -近似模糊$K$ -手段,改善以前提出的结果。我们进一步表明,我们的coresets可以保持在一个只插入流设置,数据点到达一个接一个。
2018-09-27 cs.DS cs.LG
Turning Big data into tiny data: Constant-size coresets for k-means, PCA and projective clustering
我们开发和分析的方法,以减少一个非常大的一组数据点的大小在一个高维欧氏空间R D到一个小的一组加权点,这样一个预定的数据分析任务的结果约为相同的原始点集。例如,计算精简集的前k个主成分将近似返回原始集的前k个主成分,或者计算精简集上的k均值聚类的中心将返回原始集的近似值。这样的缩减集也被称为核心集。我们的建设的主要新特点是,减少集的基数是独立的输入空间的维数d,集是可合并的。后一个属性意味着两个缩减集的并集是两个原始集的并集的缩减集(这个属性最近也被称为可组合性,见Indyk et.例如,PODS 2014)。它允许我们使用标准方法将我们的方法转换为流或分布式算法。对于k-means和子空间近似等问题,核心集的大小也与输入点的数量无关。我们的方法是基于投影点的低维子空间,并减少基数的点在这个子空间内使用已知的方法。所提出的方法适用于广泛的数据分析技术,包括k-均值聚类,主成分分析和子空间聚类。主要的概念贡献是一个新的coreset定义,允许收取费用,出现在每个解决方案的一个附加常数。
2018-07-12 cs.DS
Coresets for Clustering in Excluded-minor Graphs and Beyond
核心集是现代数据简化工具,广泛用于数据分析,以提高运行时间,空间和通信复杂性方面的效率。我们的主要结果是一个快速算法来构建一个小coreset的k-中位数(最短路径度量)的排除子图。具体来说,我们给出了第一个coreset的大小,只依赖于$k$,$ε$和排除的次要大小,我们的运行时间是准线性的(在输入图的大小)。我们的新算法的主要创新之处在于它是迭代的;它首先将$n$输入点简化为大致$O(\log n)$重新加权的点,然后简化为$O(\log\log n)$,依此类推,直到大小与$n$无关。这种迭代大小缩减中的每一步都基于Feldman和Langberg(STOC 2011)的重要性采样框架,通过采用终端嵌入(其中仅对从每个终端到所有其他点的距离保证低失真)来减少\emph{distinct points}的数量。我们的终端嵌入技术上涉及,并依赖于最短路径分隔符,一个标准的工具,在平面和排除未成年人的图形。此外,我们的新算法也适用于欧几里得度量,只需使用Narayanan和Nelson最近的终端嵌入结果(STOC 2019),它扩展了Johnson-Lindenstrauss引理。因此,我们在高维欧几里得空间中获得了一个有效的coreset构造,从而匹配和简化了最先进的结果(Sohler和Woodruff,FOCS 2018; Huang和Vishnoi,STOC 2020)。此外…
2020-07-15 cs.DS
Universal Weak Coreset
Indian Institute of Technology Delhi(印度理工学院德里分校)
本文提出通用弱核心集框架,通过将点集摘要与潜在中心集合分离,在带约束的$k$-means和$k$-median问题中实现更高数据压缩率,并适用于广泛的约束聚类场景。
2023-05-26 cs.DS cs.LG
Faster Projective Clustering Approximation of Big Data
在投影聚类中,给定$R^d$中的一个n点集,根据给定的距离函数,将它们聚类到$R^d$中的$k$线性子空间的集合$S$中。这个问题的$\eps$ -coreset是输入点的加权(缩放)子集,使得对于每个这样的可能$S$,这些距离的总和近似为$(1+\eps)$的因子。我们建议,以减少现有的coreset的大小,建议第一$O(\log(m))$近似的情况下,$m$线聚类在$O(ndm)$时间,相比现有的$\exp(m)$解决方案。然后,我们在这些线上的项目点,并证明,对于一个足够大的$m$,我们得到一个投影聚类的核心集。我们的算法也推广到处理离群值。实验结果和开放的代码也提供。
2020-11-26 cs.DS
Near-Optimal $k$-Clustering in the Sliding Window Model
本文首次在滑动窗口模型中给出 $(k,z)$-聚类的近最优 $(1+\varepsilon)$-近似算法,并提出在线核心集数据结构,证明其样本下界与离线核心集存在严格分离。
2023-11-01 cs.DS
Streaming k-Means Clustering with Fast Queries
我们提出了一个流上的k-均值聚类方法,重点是提供快速响应聚类查询。与当前最先进的方法相比,我们的方法在集群中心的查询时间上有了实质性的改进,同时保留了可证明的小近似误差和低空间使用率的理想特性。我们的算法依赖于一个新的想法“coreset缓存”,系统地重用coresets(数据摘要)计算最近的查询,回答当前的聚类查询。我们提出了理论分析和详细的实验证明其正确性和效率
2018-12-06 cs.DS cs.SE
Settling Time vs. Accuracy Tradeoffs for Clustering Big Data
Aarhus University(奥胡斯大学);Université Paris Cité(巴黎西岱大学);CNRS(法国国家科学研究中心)
本文研究大数据 k-means 和 k-median 聚类的运行时间与准确性权衡,证明可在近线性时间内通过敏感度采样构造 coreset,并系统比较各类采样策略,为不同数据规模下的有效聚类提供理论与实践指导。
2024-04-02 cs.DS cs.LG
Clustering High Dimensional Dynamic Data Streams
我们提出了数据流算法的$k$ -中位数问题的高维动态几何数据流,即流允许插入和删除的点从一个离散的欧几里德空间$\{1, 2, \ldots Δ\}^d$。我们的算法使用$k ε^{-2} poly(d \log Δ)$空间/时间,并保持高概率的一个小的加权点集(coreset),这样,对于每一组$k$中心的coreset $(1+ε)$的成本-近似的流点集的成本。我们还提供了算法,保证只有积极的权重在coreset与额外的对数因子的空间和时间复杂度。我们可以使用这个正加权的核心集来计算$(1+ε)$ -近似的$k$ -中位数问题的任何有效的离线$k$ -中位数算法。所有以前的算法计算$(1+ε)$ -近似的$k$ -中位数问题的动态数据流需要在$d$的空间和时间指数。我们的算法可以推广到有界双维的度量空间。
2017-06-13 cs.DS
Fully Dynamic k-Means Coreset in Near-Optimal Update Time
本文针对全动态k-median和k-means聚类问题,提出近最优更新时间的核心集维护算法,在欧氏空间中更新时间达$\tilde O(d)$,并支持常数因子或$O(polylog~k)$近似的低查询时间聚类计算。
2024-06-28 cs.DS
Coreset for Robust Geometric Median: Eliminating Size Dependency on Outliers
Nanjing University(南京大学)
该研究针对欧几里得空间鲁棒几何中位数的coreset构建问题,提出非逐分量误差分析方法,消除了coreset规模对异常值数的依赖,还扩展至鲁棒$(k,z)$聚类,实验表现优于现有基线。
2025-10-28 cs.CG cs.DS cs.LG
Big data applications on small quantum computers
针对当前量子硬件无法直接处理大型经典数据集的问题,本文将核心集方法应用于三类经典机器学习聚类问题,构建了量子比特数随核心集规模线性变化的哈密顿量,通过VQE验证了核心集搭配小型量子计算机的实用性,模拟显示其性能与经典求解器相当。
2024-02-02 cs.DS quant-ph
Streaming algorithms for computing coresets and $k$-median clustering in the Hamming space
CNRS & DIENS, École normale supérieure de Paris, PSL Research University(法国国家科学研究中心与信息与电子工程研究所,巴黎高等师范学院,巴黎文理研究大学);Department of Mathematics and Computer Science (IMADA), University of Southern Denmark(南丹麦大学数学与计算机科学系(IMADA))
针对Hamming空间中W[1]-困难的连续k-中位数聚类问题,提出首个带(1+ε)近似比的FPT流算法,空间复杂度低,还给出该问题首个ε-核心集的流算法。
2026-08-26 cs.DS
Distributional Individual Fairness in Clustering
IIIT Delhi(德里英迪拉·甘地信息技术学院);UC Santa Cruz(加州大学圣克鲁兹分校)
在本文中,我们开始研究公平聚类,确保相似的个体之间的分布相似性。为了提高机器学习中的公平性,最近的论文研究了聚类算法中的公平性,并集中在统计奇偶性/组公平性的范式上。这些努力试图尽量减少对人口中某些受保护群体的偏见。然而,据我们所知,Dwork等人(ITCS 2012)在分类背景下引入的个体公平性的替代观点迄今尚未被考虑用于聚类。与Dwork等人类似,我们采用了个体公平的概念,该概念规定,对于聚类问题,相似的个体应该被类似地对待。我们使用的概念,$f$ -分歧作为统计相似性的措施,显着推广Dwork等人使用的。我们引入了一个框架,用于分配个人,嵌入在度量空间,概率分布在一个有限数量的聚类中心。其目标是确保(a)低成本的预期聚类和(b)在给定的公平空间中彼此接近的个体被映射到统计上相似的分布。我们提供了一个聚类算法与$p$规范的目标($k$中心,$k$ -手段是特殊情况)和个人的公平性约束,可证明的近似保证。我们扩展了这个框架,包括保护组内的群体公平和个人公平。最后,我们观察个人公平意味着群体公平的条件。我们提出了广泛的实验证据,证明我们的方法的有效性。
2020-06-22 cs.DS cs.LG stat.ML
The Johnson-Lindenstrauss Lemma for Clustering and Subspace Approximation: From Coresets to Dimension Reduction
本文利用核心集构造提出分析 Johnson-Lindenstrauss 变换的新技术,为子空间逼近、平坦逼近和直线逼近等投影聚类问题给出更优或首次的降维目标维度界。
2023-07-10 cs.DS
A Unified Approach for Clustering Problems on Sliding Windows
我们探讨了一般度量空间和欧氏空间中的流滑动窗口模型的聚类问题。我们提出了第一个多对数空间$O(1)$ -近似的度量$k$ -中位数和度量$k$ -意味着问题的滑动窗口模型,回答了主要的开放问题所提出的巴布科克,数据,Motwani和O 'Callaghan,这仍然没有回答了十多年。我们的算法使用$O(k^3 \log^6 n)$空间和$\operatorname{poly}(k, \log n)$更新时间。这是一个指数级的改进,由于Babcock等人的技术所需的空间。我们引入了一个数据结构,扩展了光滑的直方图介绍了Braverman和Ostrovsky操作更广泛的一类功能。特别是,我们表明,仅使用多对数空间,我们可以保持当前窗口的摘要,从该窗口中,我们可以构建一个$O(1)$近似聚类解决方案。合并归约是计算几何中的一种通用方法,用于使离线算法适应仅插入流模型。几个著名的coreset结构主要是在插入只流模型使用这种方法,包括著名的coreset技术的$k$ -中位数,$k$ -手段在低维和高维欧氏空间。之前的工作已经将这些技术应用于插入-删除模型,但将它们转化为滑动窗口模型仍然是一个挑战。我们给出的第一个算法,给定一个插入只流coreset建设的空间$s$,保持一个$(1\pmε)$ -近似coreset的滑动窗口模型使用$O(s^2ε^{-2}\log n)$空间。对于聚类问题,…
2015-04-21 cs.DS
Approximation Preserving Coresets
University of Michigan(密歇根大学);Aarhus University(奥胡斯大学)
针对大数据聚类中核集尺寸小于理论保证的现象,提出近似保持核集,仅保留好解的成本,平衡了强核集与弱核集之间的保证,并证明近似因子微小失真即无法达到该尺寸。
2026-06-17 cs.DS
Individual Fairness for $k$-Clustering
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们给出了一个局部搜索算法的$k$-中位数和$k$-手段(更一般地为任何$k$-聚类与$\ell_p$规范成本函数)从个人公平的角度。更精确地,对于大小为$n$的点集$P$中的点$x$,令$r(x)$为最小半径,使得以$x$为中心的半径为$r(x)$的球至少具有来自$P$的$n/k$点。直观地说,如果从$P$中选择一组$k$随机点作为中心,则每个点$x\in P$期望在半径$r(x)$内具有中心。单独的公平聚类为每个点$x\in P$提供这样的保证。这种公平的概念是在[Jung et al.,2019],他们展示了如何获得关于此公平条件的近似可行的$k$聚类。在这项工作中,我们将展示如何获得公平的$k$-聚类的双准则近似:我们的解决方案的$k$-中位数($k$-手段)成本是在一个恒定的因素的最佳公平的$k$-聚类的成本,我们的解决方案近似满足公平性条件(也在一个恒定的因素)。此外,我们补充我们的理论界限与经验评估。
2020-09-21 cs.DS cs.LG stat.ML
$k$-Center Clustering with Outliers in the MPC and Streaming Model
给定一个点集$P \subseteq X$,其大小为$n$,在一个具有双倍维数$d$和两个参数$k \in N$和$z \in N$的度量空间$(X,dist)$中,具有$z$离群值的$k$ -中心问题要求返回一个$k$中心集$C^\ast \subseteq X$,使得$P$中除了$z$点之外的所有点到它们在$C^\ast$中最近的中心的最大距离最小。这个问题的一个$(ε,k,z)$ -核心集是一个加权点集$P^*$,使得在$P^*$上具有$z$离群值的$k$ -中心问题的最优解给出了在$P$上具有$z$离群值的$k$ -中心问题的$(1\pmε)$ -近似.我们研究了大规模并行计算(MPC)模型中,以及在插入只有以及完全动态流模型的核心集的建设。对于任何给定的$0 < ε\le 1$,我们得到以下结果:在所有情况下,计算的coreset的大小是$O(k/ε^d+z)$。- 在MPC模型中,我们提出了一种确定性$2$轮和随机化$1$轮算法.此外,我们提供了一个确定性的算法,获得轮数,$R$和每台机器的存储之间的权衡。- 对于只插入流模型,我们提出了一个算法和一个紧的下界来支持它。-我们还讨论了动态流模型,它允许在数据流中插入和删除。在这个模型中,我们提出了第一个算法和一个下界。- 最后,我们考虑滑动窗口模型,其中我们有兴趣为流中的最后一个$W$点保持一个$(ε,k,z)$ -co…
2023-02-24 cs.CG cs.DS
Guarantees for Spectral Clustering with Fairness Constraints
Rutgers University(罗格斯大学);Georgia Tech(佐治亚理工学院)
鉴于谱聚类(SC)用于划分图数据的广泛流行,我们研究了一种受约束的SC版本,其中我们试图纳入Chierichetti等人提出的公平性概念。根据这个概念,如果每个人口统计组在每个聚类中近似地按比例表示,则聚类是公平的。为此,我们开发了规范化和非规范化约束SC的变体,并表明它们有助于在合成和真实数据上找到更公平的聚类。我们还提供了一个严格的理论分析,我们的算法上的一个自然的随机块模型,其中$h$组有很强的组间连接,但也表现出一个“自然”的聚类结构,这是公平的。我们证明,我们的算法可以恢复这种公平的聚类概率很高。
2019-05-10 cs.DS cs.LG stat.ML
Distributed Algorithms for Euclidean Clustering
Google Research(谷歌研究院);Texas A&M University(德克萨斯农工大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出分布式环境下欧几里得聚类的高效算法,通过改进通信复杂度实现(1+ε)-近似保证。
2026-03-09 cs.DS
A Pairwise Fair and Community-preserving Approach to k-Center Clustering
University of Maryland(马里兰大学);Wellesley College(韦尔斯利学院);Carnegie Mellon University(卡内基梅隆大学);Northwestern University(西北大学)
聚类是机器学习中的一个基本问题,有着广泛的应用。随着机器学习作为自动化系统的后端越来越普遍,人们对公平性的担忧也随之产生。目前关于公平性的许多文献都涉及监督学习(群体公平性)中对受保护类的歧视。我们定义了一个不同的公平聚类的概念,其中两个点(或一个社区的点)变得分离的概率是由它们的成对距离(或社区直径)的递增函数所限定的。我们捕捉到这样一种情况,即数据点代表从聚集在一起获得一些好处的人。当某些点被确定性地分开时,不公平就会出现,无论是任意的还是有人打算伤害它们,就像在选区划分中那样。作为回应,我们正式定义了两种新类型的公平性的聚类设置,成对的公平性和社区保护。为了探索我们的公平性目标的实用性,我们设计了一种方法来扩展现有的$k$中心算法,以满足这些公平性的约束。对这种方法的分析证明,可以在保持公平性的同时实现合理的近似。在实验中,我们比较了我们的方法的有效性,经典的$k$中心算法/算法,并探讨最佳聚类和公平性之间的权衡。
2020-07-14 cs.DS cs.LG stat.ML
Sensitivity Sampling with Predictions for k-Means Clustering
University of Padova(帕多瓦大学)
研究k均值聚类问题,利用预测近似输入点重要性以降低基于敏感性的方法运行时间,证明相关理论对更粗敏感性近似成立,提出自然预测器并通过实验验证其优势。
2026-07-07 cs.DS cs.LG
Nearly Optimal Dynamic $k$-Means Clustering for High-Dimensional Data
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
我们认为$k$ -均值聚类问题中的动态流设置,其中点从离散欧几里德空间$\{1, 2, \ldots, Δ\}^d$可以动态插入或删除的数据集。对于这个问题,我们提供了一个一遍coret构造算法使用空间$\tilde{O}(k\cdot \mathrm{poly}(d, \logΔ))$,其中$k$是目标中心数。据我们所知,这是$k$的第一个动态几何数据流算法-意味着在$k$中使用空间多项式维数和近似最优(线性)。
2019-02-07 cs.DS cs.LG stat.ML
Relative Error Fair Clustering in the Weak-Strong Oracle Model
本文在弱强 oracle 模型中提出了一种方法,通过 poly(k/ε·log n) 次查询获得 (1+ε) 核心集,用于公平 k-中位数聚类,并扩展到一般 (k,z) 聚类。
2025-12-19 cs.DS