Coresets for Clustering with Fairness Constraints
EPFL(洛桑联邦理工学院);Weizmann Institute of Science(魏茨曼科学研究所);Yale University(耶鲁大学)
在最近的一项工作中,[19]研究了经典聚类问题的以下“公平”变体,例如$k$ -means和$k$ -median:给定$\mathbb{R}^d$中的一组$n$数据点和与每个数据点相关的二进制类型,目标是对点进行聚类,同时确保每个聚类中每个类型的比例与其基本比例大致相同。随后的工作集中在将此设置扩展到每个数据点具有多个非分离的敏感类型(如种族和性别)时[6],或者解决上述工作中的聚类算法无法很好地扩展的问题。本文的主要贡献是一种公平性约束的聚类方法,涉及多个,非不相交的类型,这也是可扩展的。我们的方法是基于新的构造coreset:为$k$ -中位数目标,我们构建了一个$\varepsilon$ -coreset的大小$O(Γk^2 \varepsilon^{-d})$,其中$Γ$是不同的集合的组,一个点可能属于的数量,并为$k$ -手段目标,我们展示了如何构建一个$\varepsilon$ -coreset的大小$O(Γk^3\varepsilon^{-d-1})$。前一个结果是针对具有$k$ -中值目标的公平聚类问题的第一个已知核心集构造,后一个结果消除了对完整数据集大小的依赖性,如[39]中所述,并将其推广到多个非不相交类型。将我们的核心集插入现有的公平聚类算法中,如[5],在几种情况下会产生最快的算法。从经验上讲,我们评估我们的方法在\textbf{Adult},\text…
2019-12-17 cs.CG cs.DS cs.LG
Fair Coresets and Streaming Algorithms for Fair k-Means Clustering
我们研究了Chierichetti等人提出的公平聚类问题(NIPS 2017)。在这里,点具有敏感属性,并且解决方案中的所有聚类都需要相对于它进行平衡(以抵消任何形式的数据固有偏差)。以前的算法公平聚类不伸缩性好。我们展示了如何建模和计算所谓的coresets公平聚类问题,它可以用来显着减少输入数据的大小。我们证明了coresets是可组合的,并展示了如何计算它们在流设置。此外,我们提出了一个变种的劳埃德算法,计算公平聚类,并将其扩展到一个公平的k-means++聚类算法。我们实现这些算法,并提供经验证据表明,我们的近似算法和coreset建设的组合产生一个可扩展的算法公平的k-均值聚类。
2021-03-09 cs.DS
Coresets for Clustering with Missing Values
我们提供了第一个coreset聚类点在$\mathbb{R}^d$有多个缺失值(坐标)。以前的核心层构造只允许一个坐标缺失。此设置中的挑战在于,目标函数(如$k$ -均值)仅在可用(非缺失)坐标集上进行评估,该坐标集在各点之间变化。回想一下,大型数据集的$ε$核心集是一个小的代理,通常是重新加权的点子集,$(1+ε)$ -近似每个可能的中心集的聚类目标。我们的$k$ -Means和$k$ -Median聚类的核心集具有大小$(jk)^{O(\min(j,k))} (ε^{-1} d \log n)^2$,其中$n$是数据点的数量,$d$是维度,$j$是每个数据点缺失坐标的最大数量。我们进一步设计了一种算法来在近线性时间内构建这些核心集,从而改进了最近的二次时间PTAS,用于$k$ -具有缺失值的均值[Eiben等人,SODA 2021]到近线性时间。我们验证我们的核心集建设,这是基于重要性采样,易于实现,在各种真实的数据集。我们的coreset表现出灵活的coreset大小和精度之间的权衡,一般优于均匀采样基线。此外,它显著加快了Lloyd's风格的启发式$k$ -具有缺失值的均值。
2021-11-11 cs.DS
Online Coresets for Clustering with Bregman Divergences
IIT Gandhinagar(印度理工学院甘地讷格尔分校);University of Warwick(华威大学)
我们提出的算法,创建coresets在一个在线设置聚类问题,根据广泛的Bregman分歧的子集。值得注意的是,我们的coresets有一个小的附加误差,类似的轻量级coresets巴赫姆等。al. 2018,并为每个输入点获取更新时间$O(d)$,其中$d$是该点的维度。我们的第一个算法给出了在线coresets的大小$\tilde{O}(\mbox{poly}(k,d,ε,μ))$的$k$ -聚类根据任何$μ$ -类似Bregman分歧。我们进一步扩展该算法,以显示存在的非参数coreset,其中coreset的大小是独立的$k$,集群的数量,为同一子类的Bregman分歧。我们的非参数核心集大了$O(\log n)$($n$是点数)的一个因子,并且具有类似的(小的)附加保证。同时,我们的核心集也可以作为轻量级核心集用于非参数版本的Bregman聚类,如DP-Means。虽然这些coresets提供附加的误差保证,他们也显着较小(缩放与$O(\log n)$,而不是$O(d^d)$的点在$R^d$)比(相对误差)coresets在Bachem等。等人,2015年DP均值。虽然我们的非参数coresets是存在的,我们在一定的假设下给出了一个算法版本。
2020-12-11 cs.DS cs.LG
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学);Fudan University(复旦大学);Princeton Univeristy(普林斯顿大学)
垂直联邦学习(Vertical Federated Learning,VFL)是机器学习的一个重要研究领域,它将数据特征分布存储在多方。然而,VFL的通信复杂性通常非常高。在本文中,我们提出了一个统一的框架,通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置:正则化线性回归和$k$均值聚类,并将我们的coreset框架,这两个问题。我们从理论上表明,使用coresets可以大大降低通信复杂性,而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
Near-optimal Coresets for Robust Clustering
我们考虑$\mathbb{R}^d$中的鲁棒聚类问题,特别是$k$ -聚类问题(例如,$k$ -中位数和$k$ -具有$m$离群值的均值,其中给定中心集$C \subset \mathbb{R}^d$的成本聚合了从$C$到除最远$m$数据点以外的所有数据点的距离,而不是像经典聚类中那样聚合了所有点。我们专注于$ε$ -coreset强大的聚类,一个小的代理数据集,保留聚类成本内的$ε$ -相对误差的所有中心集。我们的主要结果是一个大小为$O(m + \mathrm{poly}(k ε^{-1}))$的$ε$核集,它可以在近线性时间内构造。这显著地改进了先前的结果,先前的结果要么对$(m + k)$具有指数依赖性[Feldman和Schulman,SODA'12],要么具有较弱的双标准保证[Huang等人,FOCS'18]。此外,我们表明这种依赖性在$m$是接近最优的,它是孤立的,从其他因素的事实可能是至关重要的处理大量的离群值。我们通过适应最近框架的离群值来构建我们的核心集[Braverman et al.,FOCS'22],克服了成本中的参与项,特别是被排除的$m$离群点依赖于中心集$C$的新挑战。我们在各种数据集上验证了我们的核心集,与包括均匀采样和敏感性采样在内的流行基线相比,我们观察到了一个优越的尺寸精度权衡。我们还实现了显着的加速现有的近似算法强大的聚类使用我们的核心集。
2022-10-19 cs.DS
Coresets for Clustering in Graphs of Bounded Treewidth
我们开始研究图度量中的聚类核心集,即,边权图的最短路度量这种聚类问题对于数据分析是必不可少的,例如用于道路网络和数据可视化。核心集是数据的紧凑摘要,近似地保留了每个可能的中心集的聚类目标,并且它在运行时间,存储和通信方面提供了显着的效率改进,包括在流和分布式设置中。我们的主要结果是一个近线性的时间结构的coreset的k-中位数在一般图$G$,大小为$O_{ε, k}(\mathrm{tw}(G))$,其中$\mathrm{tw}(G)$是树的宽度$G$,我们补充建设与一个接近紧的大小下限。该结构基于Feldman和Langberg [STOC 2011]的框架,根据该框架的要求,我们的主要技术贡献是在任何点权重下破碎维度上的$O(\mathrm{tw}(G))$的统一界。我们验证了我们的coreset在现实世界的道路网络,我们的可扩展算法构造微小的coreset具有高精度,这转化为现有的近似算法,如本地搜索图k-中位数的大规模加速。
2022-12-12 cs.DS
Coresets for Ordered Weighted Clustering
我们为有序k-Median设计核心集,这是经典聚类问题(如k-Median和k-Center)的推广,提供了更灵活的数据分析,例如轻松组合多个目标(例如,以增加公平性或用于帕累托优化)。它的目标函数是通过Yager(1988)的有序加权平均(OWA)范式定义的,其中数据点根据预定义的权重向量进行加权,但是按照它们对目标的贡献(到中心的距离)的顺序。一个强大的数据简化技术,称为核心集,是将$\mathbb{R}^d$中的点集$X$总结成一个小的(加权)点集$X'$,这样对于每个$k$潜在中心集,核心集$X'$的目标值近似于因子$1\pm ε$中的$X$的目标值。当有多个目标(权重)时,上述标准核心集可能用处有限,而在Bachem和Lucic和Lattanzi(2018)最近引入的\emph{simultaneous}核心集中,上述近似适用于所有权重(除了所有中心)。我们的主要结果是一个建设的同时coreset的大小$O_{ε, d}(k^2 \log^2 |X|)$有序k-中位数。为了验证我们的coreset构造的有效性,我们在一个真实的地理数据集上进行了实验。我们发现,我们的算法产生一个小的核心集,这转化为一个巨大的加速聚类计算,同时保持高精度的权重范围。
2019-03-11 cs.DS
On Coresets for Fair Clustering in Metric and Euclidean Spaces and Their Applications
University of Bergen(卑尔根大学)
公平聚类是聚类的一种受约束的变体,其目标是划分一组彩色点,使得每个聚类中任何颜色的点的分数或多或少等于数据集中该颜色的点的分数。这种变体最近由Chierichetti等人[NeurIPS,2017]在一项开创性的工作中引入,并在聚类文献中广泛流行。在本文中,我们提出了一种新的构造的核心集的公平聚类的基础上随机抽样。新的结构使我们能够获得第一个coreset公平聚类一般度量空间。对于欧氏空间,我们得到了第一个其大小不指数依赖于维数的coreset。我们的coreset结果解决了Schmidt et al. [WAOA,2019]和Huang et al. [NeurIPS,2019]提出的开放问题。新的coreset结构有助于设计几个新的近似和流算法。特别地,我们得到了第一个度量公平聚类的真常数-近似算法,其运行时间是固定参数可处理的(FPT)。在欧几里德的情况下,我们推导出第一个$(1+ε)$ -近似算法的公平聚类的时间复杂度是近线性的,并不依赖于空间的维数指数。此外,我们的核心集建设计划是相当普遍的,并产生了广泛的约束聚类问题的核心集。这导致这些问题在一般度量和近线性时间$(1+ε)$ -近似的欧几里德度量的改进常数近似。
2020-07-20 cs.DS cs.LG
A New Coreset Framework for Clustering
给定一个度量空间,$(k,z)$ -聚类问题包括找到$k$中心,使得距离的总和提高到每个点到其最近中心的幂$z$最小化。这概括了著名的$k$ -中位数($z=1$)和$k$ -均值($z=2$)集群问题。在过去的15年里,设计近似保留解决方案成本的数据的小空间草图(也称为\emph{coresets})一直是一个重要的研究方向。在本文中,我们提出了一个新的,简单的coreset框架,同时提高了最好的已知的各种设置的界限,范围从欧氏空间,加倍度量,小自由度量,和一般度量的情况下。
2022-07-29 cs.DS
Coresets for Weight-Constrained Anisotropic Assignment and Clustering
本文构造了权约束各向异性分配和聚类的核心集。与研究得很好的无约束最小二乘聚类问题相比,在权重约束的各向异性情况下,近似聚类的质心不再足够,因为甚至涉及将点分配到最佳站点。这个分配步骤通常是材料科学中的限制因素,这是一个部分激励我们工作的问题。我们建立在Har-Peled和Kushal的一篇论文上,他们为无约束最小二乘聚类构建了大小为$\mathcal{O}\bigl(\frac{k^3}{ε^{d+1}}\bigr)$的核心集。我们推广和改进他们的结果在各种方式,导致更小的coresets的大小只有$\mathcal{O}\bigl(\frac{k^2}{ε^{d+1}}\bigr)$的权重约束的各向异性聚类。此外,我们回答了一个开放的问题coreset设计的负面影响,表明总的灵敏度可以成为大的基数的原始数据集在约束的情况下。因此,许多基于重要性采样的技术不适用于权重约束聚类。
2022-03-21 cs.DS math.OC
Coresets for Clustering Under Stochastic Noise
Nanjing University(南京大学);Singapore Management University(新加坡管理大学);Yale University(耶鲁大学);Princeton University(普林斯顿大学)
针对随机噪声下聚类核心集构建问题,提出一种新误差度量及算法,实现更小核心集和更紧的真实成本保证,核心集大小可改进多项式因子。
2025-10-27 cs.CG cs.DS cs.LG
Towards Tight Robust Coresets for $k$-Medians Clustering
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学)
针对含离群点的鲁棒 $k$-中位数问题,提出在VC/倍增维度量空间和欧氏空间中大小接近最优的核心集构造,并推广到鲁棒 $(k,z)$-聚类。
2026-06-12 cs.CG cs.DM cs.DS
$\varepsilon$-Coresets for Clustering (with Outliers) in Doubling Metrics
研究了在双倍度量$M(X, d)$下$(k, z)$ -聚类问题的$\varepsilon$ -核心集的构造问题. $\varepsilon$ -coreset是具有权重函数$w : S \rightarrow \mathbb{R}_{\geq 0}$的加权子集$S\subseteq X$,使得对于任何$k$ -子集$C \in [X]^k$,它保持$\sum_{x \in S}{w(x) \cdot d^z(x, C)} \in (1 \pm \varepsilon) \cdot \sum_{x \in X}{d^z(x, C)}$。我们提出了一个有效的算法,构造一个$\varepsilon$ -coreset的$(k, z)$ -聚类问题的$M(X, d)$,其中的coreset的大小只取决于参数$k, z, \varepsilon$和加倍维数$\mathsf{ddim}(M)$。据我们所知,这是第一个有效的$\varepsilon$ -coreset建设的大小独立的$|X|$一般的聚类问题的两倍指标。为此,我们建立了$M(X, d)$的加倍维数与距离$d$诱导的射程空间的破碎维数(或VC维数)之间的第一个关系。这样的关系以前是不知道的,因为人们可以很容易地构造这样的实例,其中任何一个都不能被另一个(的某个函数)所约束。令人惊讶的是,我们表明,如果我们允许一个小的$(1\pmε…
2018-08-18 cs.DS
Coresets for Kernel Clustering
本文为一般核下的 kernel $k$-Means 构建大小为 $\mathrm{poly}(kε^{-1})$、近线性时间可构造的核心集,支持近似与流式算法,并在聚类和谱聚类中显著加速。
2024-04-06 cs.DS
Coresets for Time Series Clustering
Tsinghua University(清华大学);Yale University(耶鲁大学)
研究了时间序列数据聚类问题的核心集构造问题。由于传感器的激增促进了实时测量和存储成本的快速下降,这个问题在包括生物学、医学和经济学在内的许多领域都变得越来越重要。特别是,我们考虑的设置,其中$N$实体上的时间序列数据是从高斯混合模型生成的自相关在$\mathbb{R}^d$中的$k$集群。我们的主要贡献是一个算法来构建这个混合模型的最大似然目标coresets。我们的算法是有效的,并在一个温和的有界性假设的基础高斯的协方差矩阵,coreset的大小是独立的实体$N$的数量和每个实体的观察数,并仅多项式依赖于$k$,$d$和$1/\varepsilon$,其中$\varepsilon$是误差参数。我们用合成数据经验性地评估了我们的岩心集的性能。
2021-10-28 cs.CG cs.DS cs.LG
Scalable k-Means Clustering via Lightweight Coresets
Google Brain(谷歌大脑);ETH Zurich(苏黎世联邦理工学院)
核心集是数据集的紧凑表示,使得在核心集上训练的模型与在完整数据集上训练的模型具有可证明的竞争力。因此,它们已成功地用于将聚类模型扩展到大规模数据集。虽然现有的方法一般只允许乘法近似误差,我们提出了一个新的概念,轻量级coresets,允许乘法和加法误差。我们提供了一个单一的算法来构建轻量级的coresets的k-means聚类以及软和硬Bregman聚类。该算法比现有的结构快得多,并行性好,所得的coresets更小。我们进一步表明,所提出的方法自然推广到统计k均值聚类,与现有的结果相比,它可以用来计算较小的总结经验风险最小化。在大量的实验中,我们证明了该算法优于现有的数据摘要策略在实践中。
2018-06-06 cs.DC cs.DS cs.LG
Coreset Spectral Clustering
University of Edinburgh(爱丁堡大学);Japan Advanced Institute of Science and Technology (JAIST)(日本先进科学技术研究所);University of St Andrews(圣安德鲁斯大学)
本文提出核心集谱聚类算法,通过聚类核心集图来推断原始图标签,将核k-means与归一化割结合,并改进稀疏核上核心集算法的运行时间,克服局部最优问题。
2025-03-10 cs.DS cs.LG
A Nearly Optimal Size Coreset Algorithm with Nearly Linear Time
核心集是一个点集,它包含了一个更大的点集的几何属性的信息。一系列的工作表明,在许多机器学习问题,特别是聚类问题,coreset可以是非常有用的,以建立有效的算法。核心集构造算法性能的两个主要度量是算法的运行时间和算法输出的核心集的大小。本文研究了$(k,z)$ -聚类问题的核心集的构造,它是$k$ -均值和$k$ -中值问题的推广.通过适当地设计一个基于草图的距离估计数据结构,我们提出了更快的算法,构建coresets与匹配的大小的国家的最先进的结果。
2022-10-15 cs.DS
On Coresets for Clustering in Small Dimensional Euclidean Spaces
本文考虑欧氏空间中$k$ -Median的小核心集的构造问题。给定一个大的数据点集$P\subset \mathbb{R}^d$,核心集是一个小得多的集$S\subset \mathbb{R}^d$,因此$k$ -任何$k$中心相对于. $P$和$S$接近。现有的文献主要集中在高维的情况下,并已取得了很大的成功,在获得维数无关的界限,而小$d$的情况下,在很大程度上是未探索的。考虑到欧氏聚类算法的许多应用都是在小维空间中进行的,而目前文献中缺乏系统的研究,本文研究了小维空间中$k$ -Median的核心集.对于小的$d$,一个自然的问题是现有的接近最佳的尺寸无关的界限是否可以显着改善。我们提供肯定的答案,这个问题的一系列参数。此外,还证明了新的下界结果,这是最高的小$d$。特别地,我们完全解决了$1$ -d $k$ -Median的coreset大小界限(直到对数因子)。有趣的是,我们的结果暗示了$1$ -d $1$ -Median和$1$ -d $2$ -Median之间的强分离。据我们所知,这是第一次在任何维度上分离$k=1$和$k=2$。
2023-02-27 cs.DS
Coresets for Robust Clustering via Black-box Reductions to Vanilla Case
针对带m个异常值的鲁棒(k,z)-聚类,提出通过黑箱归约到普通聚类的ε-核心集构造方法,得到k接近线性大小的核心集(优于先前Ω(k²)结果),并在动态流设置中实现首个低空间复杂度的流算法。
2025-02-11 cs.DS
Towards Optimal Lower Bounds for k-median and k-means Coresets
Google Research(谷歌研究院);Aarhus University(奥胡斯大学);Sorbonne Université(索邦大学)
给定度量空间中的一组点,$(k,z)$聚类问题包括找到一组称为中心的$k$点,使得每个数据点到其最近中心的距离之和最小化为$z$的幂。特殊情况包括著名的k-中位数问题($z = 1$)和k-均值问题($z = 2$)。$k$ -中位数和$k$ -均值问题是现代数据分析的核心,海量数据应用已经提出了coreset的概念:输入点集的一个小(加权)子集,保留问题的任何解决方案的成本,直到乘法$(1 \pm \varepsilon)$因子,从而从大到小减少问题的输入。在本文中,我们提出了各种度量空间中的coreset的改进的下界。在有限度量组成的$n$点和加倍度量与加倍常数$D$,我们表明,任何coreset的$(k,z)$聚类必须至少包括$Ω(k \varepsilon^{-2} \log n)$和$Ω(k \varepsilon^{-2} D)$点,分别。这两个边界都与先前的上限匹配,直到polylog因子。在欧氏空间中,我们证明了$(k,z)$聚类的任何核心集必须至少由$Ω(k\varepsilon^{-2})$点组成。我们补充这些下限与coreset建设组成的最多$\tilde{O}(k\varepsilon^{-2}\cdot \min(\varepsilon^{-z},k))$点。
2022-02-25 cs.CG cs.DS cs.LG
New Frameworks for Offline and Streaming Coreset Constructions
一个点集的核心集是一个小的加权点子集,它近似地保留了原始集合的重要属性。具体地,如果$P$是点的集合,$Q$是查询的集合,并且$f:P\times Q\to\mathbb{R}$是成本函数,则如果$\sum_{s\in S}w(s)f(s,q)$是对所有$q\in Q$的$\sum_{p\in P}f(p,q)$的$(1+ε)$乘法近似,则具有权重$w:P\to[0,\infty)$的集合$S\subseteq P$是针对某个参数$ε>0$的$ε$ -coreset。Coresets用于解决各种大数据计算模型下机器学习的基本问题。在最近十年中,许多建议的核心集使用,或可以使用一个一般的框架来构建核心集,其大小取决于二次被称为总灵敏度$t$。本文将这个界从$O(t^2)$改进为$O(t\log t)$。因此,我们的研究结果意味着更多的空间有效的解决方案,一些问题,包括投影聚类,$k$线聚类,和子空间近似。此外,我们推广了灵敏度采样的概念,支持非乘法近似,负成本函数等。主要的技术成果是一个通用的减少学习一类有界VC维函数的样本复杂性。我们表明,获得一个$(ν,α)$ -样本这类功能与适当的参数$ν$和$α$足以实现空间有效的$ε$ -coresets。我们的研究结果意味着更有效的coreset建设一些有趣的问题在机器学习中,我们显示应用程序$k$ -中位数/ $k$ -手段,$k$ -…
2022-09-18 cs.DS
Randomized Greedy Algorithms and Composable Coreset for k-Center Clustering with Outliers
University of Science and Technology of China(中国科学技术大学)
本文研究了具有孤立点的{ \em $k$ -中心聚类}问题。该问题在现实世界中有许多重要的应用,但离群值的存在会显著增加计算复杂性。虽然在过去的几十年里,已经开发了许多方法,它仍然是相当具有挑战性的设计质量保证的算法,低复杂度的问题。我们的想法是启发贪婪的方法,冈萨雷斯的算法,这是解决普通的$k$中心聚类问题。基于一些新的观察,我们表明,这种贪婪策略的一个简单的随机版本实际上可以有效地处理离群值。我们进一步表明,这种随机贪婪的方法也产生小coreset的问题,在加倍度量(即使加倍维数是不给),这可以大大降低计算复杂性。此外,与arXiv:1703.01539中提出的部分聚类框架一起,我们证明了我们的coreset方法可以应用于具有低通信复杂性的分布式数据。实验结果表明,我们的算法可以获得接近最优的解决方案,并产生较低的复杂度相比,现有的方法。
2023-01-07 cs.DS cs.LG
A Tight VC-Dimension Analysis of Clustering Coresets with Applications
本文提出基于 VC 维的紧致 coreset 构造分析,显著改进平面图最短路径度量与 Frechet 度量下 $k$-median 聚类的 coreset 规模界。
2025-01-11 cs.CG cs.DS cs.LG
Turning Big data into tiny data: Constant-size coresets for k-means, PCA and projective clustering
我们开发和分析的方法,以减少一个非常大的一组数据点的大小在一个高维欧氏空间R D到一个小的一组加权点,这样一个预定的数据分析任务的结果约为相同的原始点集。例如,计算精简集的前k个主成分将近似返回原始集的前k个主成分,或者计算精简集上的k均值聚类的中心将返回原始集的近似值。这样的缩减集也被称为核心集。我们的建设的主要新特点是,减少集的基数是独立的输入空间的维数d,集是可合并的。后一个属性意味着两个缩减集的并集是两个原始集的并集的缩减集(这个属性最近也被称为可组合性,见Indyk et.例如,PODS 2014)。它允许我们使用标准方法将我们的方法转换为流或分布式算法。对于k-means和子空间近似等问题,核心集的大小也与输入点的数量无关。我们的方法是基于投影点的低维子空间,并减少基数的点在这个子空间内使用已知的方法。所提出的方法适用于广泛的数据分析技术,包括k-均值聚类,主成分分析和子空间聚类。主要的概念贡献是一个新的coreset定义,允许收取费用,出现在每个解决方案的一个附加常数。
2018-07-12 cs.DS
Coresets for Clustering in Excluded-minor Graphs and Beyond
核心集是现代数据简化工具,广泛用于数据分析,以提高运行时间,空间和通信复杂性方面的效率。我们的主要结果是一个快速算法来构建一个小coreset的k-中位数(最短路径度量)的排除子图。具体来说,我们给出了第一个coreset的大小,只依赖于$k$,$ε$和排除的次要大小,我们的运行时间是准线性的(在输入图的大小)。我们的新算法的主要创新之处在于它是迭代的;它首先将$n$输入点简化为大致$O(\log n)$重新加权的点,然后简化为$O(\log\log n)$,依此类推,直到大小与$n$无关。这种迭代大小缩减中的每一步都基于Feldman和Langberg(STOC 2011)的重要性采样框架,通过采用终端嵌入(其中仅对从每个终端到所有其他点的距离保证低失真)来减少\emph{distinct points}的数量。我们的终端嵌入技术上涉及,并依赖于最短路径分隔符,一个标准的工具,在平面和排除未成年人的图形。此外,我们的新算法也适用于欧几里得度量,只需使用Narayanan和Nelson最近的终端嵌入结果(STOC 2019),它扩展了Johnson-Lindenstrauss引理。因此,我们在高维欧几里得空间中获得了一个有效的coreset构造,从而匹配和简化了最先进的结果(Sohler和Woodruff,FOCS 2018; Huang和Vishnoi,STOC 2020)。此外…
2020-07-15 cs.DS
Faster Projective Clustering Approximation of Big Data
在投影聚类中,给定$R^d$中的一个n点集,根据给定的距离函数,将它们聚类到$R^d$中的$k$线性子空间的集合$S$中。这个问题的$\eps$ -coreset是输入点的加权(缩放)子集,使得对于每个这样的可能$S$,这些距离的总和近似为$(1+\eps)$的因子。我们建议,以减少现有的coreset的大小,建议第一$O(\log(m))$近似的情况下,$m$线聚类在$O(ndm)$时间,相比现有的$\exp(m)$解决方案。然后,我们在这些线上的项目点,并证明,对于一个足够大的$m$,我们得到一个投影聚类的核心集。我们的算法也推广到处理离群值。实验结果和开放的代码也提供。
2020-11-26 cs.DS
Coresets for constrained k-median and k-means clustering in low dimensional Euclidean space
University of Cologne(科隆大学)
我们研究(欧几里德)$k$ -中位数和$k$ -意味着在流模型的约束。最近,人们努力设计统一的算法来解决约束$k$ -均值问题,而不使用手头的特定约束的知识,除了温和的假设,如约束下的可行性的多项式可计算性(计算聚类是否满足约束)或存在有效的赋值oracle(给定一组中心,产生满足约束的点到中心的最优分配)。这些算法在$k$中具有运行时间指数,但可以应用于广泛的约束。我们证明了2019年提出的一种用于解决特定约束流$k$ -均值问题的技术,即公平的$k$ -均值聚类,实际上意味着所有这些约束的流算法。这些工作低维欧氏空间。[Note有更多的算法用于流传输公平的$k$ -意味着今天,特别是它们现在也存在于高维空间。
2021-06-14 cs.DS cs.LG
Near-Optimal Quantum Coreset Construction Algorithms for Clustering
Peking University(北京大学)
本文提出用于 $k$-聚类的量子核心集构造算法,以 $\tilde{O}(\sqrt{nk}d^{3/2})$ 查询复杂度实现二次加速,并给出近乎匹配的 $Ω(\sqrt{nk})$ 下界。
2023-06-05 cs.AI cs.DS cs.LG
Near-Optimal $k$-Clustering in the Sliding Window Model
本文首次在滑动窗口模型中给出 $(k,z)$-聚类的近最优 $(1+\varepsilon)$-近似算法,并提出在线核心集数据结构,证明其样本下界与离线核心集存在严格分离。
2023-11-01 cs.DS
Clustering High Dimensional Dynamic Data Streams
我们提出了数据流算法的$k$ -中位数问题的高维动态几何数据流,即流允许插入和删除的点从一个离散的欧几里德空间$\{1, 2, \ldots Δ\}^d$。我们的算法使用$k ε^{-2} poly(d \log Δ)$空间/时间,并保持高概率的一个小的加权点集(coreset),这样,对于每一组$k$中心的coreset $(1+ε)$的成本-近似的流点集的成本。我们还提供了算法,保证只有积极的权重在coreset与额外的对数因子的空间和时间复杂度。我们可以使用这个正加权的核心集来计算$(1+ε)$ -近似的$k$ -中位数问题的任何有效的离线$k$ -中位数算法。所有以前的算法计算$(1+ε)$ -近似的$k$ -中位数问题的动态数据流需要在$d$的空间和时间指数。我们的算法可以推广到有界双维的度量空间。
2017-06-13 cs.DS
Fully Dynamic k-Means Coreset in Near-Optimal Update Time
本文针对全动态k-median和k-means聚类问题,提出近最优更新时间的核心集维护算法,在欧氏空间中更新时间达$\tilde O(d)$,并支持常数因子或$O(polylog~k)$近似的低查询时间聚类计算。
2024-06-28 cs.DS
$k$-Center Clustering with Outliers in the MPC and Streaming Model
给定一个点集$P \subseteq X$,其大小为$n$,在一个具有双倍维数$d$和两个参数$k \in N$和$z \in N$的度量空间$(X,dist)$中,具有$z$离群值的$k$ -中心问题要求返回一个$k$中心集$C^\ast \subseteq X$,使得$P$中除了$z$点之外的所有点到它们在$C^\ast$中最近的中心的最大距离最小。这个问题的一个$(ε,k,z)$ -核心集是一个加权点集$P^*$,使得在$P^*$上具有$z$离群值的$k$ -中心问题的最优解给出了在$P$上具有$z$离群值的$k$ -中心问题的$(1\pmε)$ -近似.我们研究了大规模并行计算(MPC)模型中,以及在插入只有以及完全动态流模型的核心集的建设。对于任何给定的$0 < ε\le 1$,我们得到以下结果:在所有情况下,计算的coreset的大小是$O(k/ε^d+z)$。- 在MPC模型中,我们提出了一种确定性$2$轮和随机化$1$轮算法.此外,我们提供了一个确定性的算法,获得轮数,$R$和每台机器的存储之间的权衡。- 对于只插入流模型,我们提出了一个算法和一个紧的下界来支持它。-我们还讨论了动态流模型,它允许在数据流中插入和删除。在这个模型中,我们提出了第一个算法和一个下界。- 最后,我们考虑滑动窗口模型,其中我们有兴趣为流中的最后一个$W$点保持一个$(ε,k,z)$ -co…
2023-02-24 cs.CG cs.DS
Streaming k-Means Clustering with Fast Queries
我们提出了一个流上的k-均值聚类方法,重点是提供快速响应聚类查询。与当前最先进的方法相比,我们的方法在集群中心的查询时间上有了实质性的改进,同时保留了可证明的小近似误差和低空间使用率的理想特性。我们的算法依赖于一个新的想法“coreset缓存”,系统地重用coresets(数据摘要)计算最近的查询,回答当前的聚类查询。我们提出了理论分析和详细的实验证明其正确性和效率
2018-12-06 cs.DS cs.SE
Streaming algorithms for computing coresets and $k$-median clustering in the Hamming space
CNRS & DIENS, École normale supérieure de Paris, PSL Research University(法国国家科学研究中心与信息与电子工程研究所,巴黎高等师范学院,巴黎文理研究大学);Department of Mathematics and Computer Science (IMADA), University of Southern Denmark(南丹麦大学数学与计算机科学系(IMADA))
针对Hamming空间中W[1]-困难的连续k-中位数聚类问题,提出首个带(1+ε)近似比的FPT流算法,空间复杂度低,还给出该问题首个ε-核心集的流算法。
2026-08-26 cs.DS
Universal Weak Coreset
Indian Institute of Technology Delhi(印度理工学院德里分校)
本文提出通用弱核心集框架,通过将点集摘要与潜在中心集合分离,在带约束的$k$-means和$k$-median问题中实现更高数据压缩率,并适用于广泛的约束聚类场景。
2023-05-26 cs.DS cs.LG
The Johnson-Lindenstrauss Lemma for Clustering and Subspace Approximation: From Coresets to Dimension Reduction
本文利用核心集构造提出分析 Johnson-Lindenstrauss 变换的新技术,为子空间逼近、平坦逼近和直线逼近等投影聚类问题给出更优或首次的降维目标维度界。
2023-07-10 cs.DS
Big data applications on small quantum computers
针对当前量子硬件无法直接处理大型经典数据集的问题,本文将核心集方法应用于三类经典机器学习聚类问题,构建了量子比特数随核心集规模线性变化的哈密顿量,通过VQE验证了核心集搭配小型量子计算机的实用性,模拟显示其性能与经典求解器相当。
2024-02-02 cs.DS quant-ph
Approximation Preserving Coresets
University of Michigan(密歇根大学);Aarhus University(奥胡斯大学)
针对大数据聚类中核集尺寸小于理论保证的现象,提出近似保持核集,仅保留好解的成本,平衡了强核集与弱核集之间的保证,并证明近似因子微小失真即无法达到该尺寸。
2026-06-17 cs.DS
Distributed Algorithms for Euclidean Clustering
Google Research(谷歌研究院);Texas A&M University(德克萨斯农工大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出分布式环境下欧几里得聚类的高效算法,通过改进通信复杂度实现(1+ε)-近似保证。
2026-03-09 cs.DS
A Composable Coreset for k-Center in Doubling Metrics
给出了度量空间中的点集$P$和常整数$k$。$k$ -中心问题在$P$中找到$k$点作为中心,使得$P$的任何点到其最近中心$(r)$的最大距离最小化。加倍度量是度量空间,其中对于任何$r$,半径为$r$的球可以使用常数数量的半径为$r/2$的球来覆盖。固定维欧氏空间是加倍度量。在欧氏空间中,$k$ -中心的逼近因子的下界是$1.822$,然而,存在指数依赖于$\frac{1}ε$和$k$的$(1+ε)$ -逼近算法.对于给定的集合$P_1,\ldots,P_L$的集合,可组合的核心集独立地计算子集$C_1\subset P_1, \ldots, C_L\subset P_L$,使得$\cup_{i=1}^L C_i$包含集合$\cup_{i=1}^L P_i$的度量的近似。本文针对$k$ -中心提出了一种$(1+ε)$ -近似可合成的核集,它在$|P|$中具有次线性的尺寸.这导致在MapReduce中的$k$ -中心的$(2+ε)$ -近似算法,其具有用于任何$ε>0$和次线性通信的加倍度量的恒定轮数,其基于参数修剪。我们证明了中心数$(k)$和半径$(r)$之间的权衡的指数性质,并给出了一个相关的问题,称为双聚类的可组合的coreset。同时,我们给出了一个新的参数剪枝算法,它包括$O(\frac{nk}ε)$运行时间、$O(n)$空间和度量$k$ -中心的$2+ε$逼近因子.
2019-04-24 cs.CG cs.DS
Settling Time vs. Accuracy Tradeoffs for Clustering Big Data
Aarhus University(奥胡斯大学);Université Paris Cité(巴黎西岱大学);CNRS(法国国家科学研究中心)
本文研究大数据 k-means 和 k-median 聚类的运行时间与准确性权衡,证明可在近线性时间内通过敏感度采样构造 coreset,并系统比较各类采样策略,为不同数据规模下的有效聚类提供理论与实践指导。
2024-04-02 cs.DS cs.LG
Improved Algorithms for Time Decay Streams
在数据流的时间衰减模型中,底层数据集的元素顺序到达,最近到达的元素更重要。处理大型数据集的一种常见方法是维护一个\emph{coreset},它是对处理后的数据的一个简明摘要,允许近似地恢复预定的查询。我们提供了一个一般的框架,采取任何离线coreset,并给出了一个时间衰减coreset的多项式时间衰减函数。我们还考虑指数时间衰减模型的$k$ -中值聚类,在那里我们提供了一个常数因子近似算法,利用在线设施定位算法。我们的算法存储$\mathcal{O}(k\log(hΔ)+h)$点,其中$h$是衰减函数的半衰期,$Δ$是数据集的纵横比。我们的技术扩展到$k$均值聚类和$M$估计以及。
2019-07-17 cs.DS
Deterministic Clustering in High Dimensional Spaces: Sketches and Approximation
针对聚类领域确定性方法存在维度指数依赖、近似比受限的问题,本文提出接近随机方法性能的确定性聚类概要与$(1+ε)$-近似算法,还提出了性能提升k倍的均匀采样随机核心集构建方法。
2023-10-06 cs.DS
Sensitivity Sampling for $k$-Means: Worst Case and Stability Optimal Coreset Bounds
本文证明敏感性采样在最坏情况下可得到大小为 Õ(k/ε^2 min(√k, ε^{-2})) 的最优 k-均值核心集,并在代价稳定性良好的数据集上自动改进为 Õ(k/ε^2),同时给出稳定实例核心集大小的匹配下界,结果还扩展到 k-中位数和一般度量空间。
2024-05-02 cs.DS
k-Means Clustering of Lines for Big Data
$k$ -median for lines问题的输入是$\mathbb{R}^d$中的$n$线的集合$L$,目标是计算$\mathbb{R}^d$中的一组$k$中心(点),以最小化$L$中每条线与其最近中心之间的平方距离之和。这是$k$ -中值问题的直接推广,其中输入是一组$n$点而不是线。我们建议第一个PTAS计算$(1+ε)$ -对于任何常数逼近误差$ε\in (0, 1)$和常数整数$k, d \geq 1$,在时间上对该问题进行逼近$O(n \log n)$。这是通过证明在$L$中总是存在$dk^{O(k)}\log (n)/ε^2$线的加权子集(称为coreset),其近似于从$L$到任何给定的$k$点集的平方距离之和。使用传统的合并-归约技术,该coreset意味着使用$n$中接近对数的存储器、更新时间和通信,以及删除任何行但使用线性空间,在一次通过(例如,云)中将行的流集合(可能是无限的)到$M$机器的结果。这些结果适用于其他距离函数,例如$k$ -中位数(距离总和)或忽略距离给定中心最远的$m$线以处理离群值。在Amazon EC2云上的10台机器上进行的实验结果表明,该算法在实际应用中表现良好。所有的算法和实验的开放源代码也提供。本文是以下已接受论文的扩展:“$k$ -Means Clustering of Lines for Big Data”,作者Yair M…
2019-11-25 cs.CG cs.DS
Sensitivity Sampling with Predictions for k-Means Clustering
University of Padova(帕多瓦大学)
研究k均值聚类问题,利用预测近似输入点重要性以降低基于敏感性的方法运行时间,证明相关理论对更粗敏感性近似成立,提出自然预测器并通过实验验证其优势。
2026-07-07 cs.DS cs.LG
Coreset for Robust Geometric Median: Eliminating Size Dependency on Outliers
Nanjing University(南京大学)
该研究针对欧几里得空间鲁棒几何中位数的coreset构建问题,提出非逐分量误差分析方法,消除了coreset规模对异常值数的依赖,还扩展至鲁棒$(k,z)$聚类,实验表现优于现有基线。
2025-10-28 cs.CG cs.DS cs.LG
Feature-based Individual Fairness in k-Clustering
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);University of California, Santa Barbara(加州大学圣巴巴拉分校);MPI-SWS(马克斯·普朗克软件系统研究所);Rice University(莱斯大学)
确保机器学习算法的公平性是一项具有挑战性的重要任务。我们考虑的问题,聚类一组点,同时满足公平性约束。虽然已经有几个尝试,以捕捉组公平性的$k$聚类问题,公平性在个人层面上是相对较少的探讨。我们引入了一个新的概念,个人的公平性在$k$ -聚类的基础上不一定用于聚类的功能。我们表明,这个问题是NP-困难的,不承认一个常数因子近似。因此,我们设计了一个随机算法,保证近似在最小化的聚类距离的目标和个人的公平性自然的限制下的距离度量和公平性约束。最后,我们对六个竞争基线的实验结果验证了我们的算法产生的聚类比最公平的基线平均公平12.5%,同时在聚类目标方面的成本也比最佳基线平均低34.5%。
2023-02-03 cs.CY cs.DS cs.LG
Distributional Individual Fairness in Clustering
IIIT Delhi(德里英迪拉·甘地信息技术学院);UC Santa Cruz(加州大学圣克鲁兹分校)
在本文中,我们开始研究公平聚类,确保相似的个体之间的分布相似性。为了提高机器学习中的公平性,最近的论文研究了聚类算法中的公平性,并集中在统计奇偶性/组公平性的范式上。这些努力试图尽量减少对人口中某些受保护群体的偏见。然而,据我们所知,Dwork等人(ITCS 2012)在分类背景下引入的个体公平性的替代观点迄今尚未被考虑用于聚类。与Dwork等人类似,我们采用了个体公平的概念,该概念规定,对于聚类问题,相似的个体应该被类似地对待。我们使用的概念,$f$ -分歧作为统计相似性的措施,显着推广Dwork等人使用的。我们引入了一个框架,用于分配个人,嵌入在度量空间,概率分布在一个有限数量的聚类中心。其目标是确保(a)低成本的预期聚类和(b)在给定的公平空间中彼此接近的个体被映射到统计上相似的分布。我们提供了一个聚类算法与$p$规范的目标($k$中心,$k$ -手段是特殊情况)和个人的公平性约束,可证明的近似保证。我们扩展了这个框架,包括保护组内的群体公平和个人公平。最后,我们观察个人公平意味着群体公平的条件。我们提出了广泛的实验证据,证明我们的方法的有效性。
2020-06-22 cs.DS cs.LG stat.ML
Faster Approximation Algorithms for k-Center via Data Reduction
本文针对大 k 情形下的欧几里得 k-中心问题,提出构造大小为 k·o(n) 的 coreset 数据约简方法,实现近线性时间 O(1)-近似,并在真实数据集上将 Gonzalez 算法加速最多 4 倍。
2025-02-09 cs.DS
Individual Fairness for $k$-Clustering
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们给出了一个局部搜索算法的$k$-中位数和$k$-手段(更一般地为任何$k$-聚类与$\ell_p$规范成本函数)从个人公平的角度。更精确地,对于大小为$n$的点集$P$中的点$x$,令$r(x)$为最小半径,使得以$x$为中心的半径为$r(x)$的球至少具有来自$P$的$n/k$点。直观地说,如果从$P$中选择一组$k$随机点作为中心,则每个点$x\in P$期望在半径$r(x)$内具有中心。单独的公平聚类为每个点$x\in P$提供这样的保证。这种公平的概念是在[Jung et al.,2019],他们展示了如何获得关于此公平条件的近似可行的$k$聚类。在这项工作中,我们将展示如何获得公平的$k$-聚类的双准则近似:我们的解决方案的$k$-中位数($k$-手段)成本是在一个恒定的因素的最佳公平的$k$-聚类的成本,我们的解决方案近似满足公平性条件(也在一个恒定的因素)。此外,我们补充我们的理论界限与经验评估。
2020-09-21 cs.DS cs.LG stat.ML
Guarantees for Spectral Clustering with Fairness Constraints
Rutgers University(罗格斯大学);Georgia Tech(佐治亚理工学院)
鉴于谱聚类(SC)用于划分图数据的广泛流行,我们研究了一种受约束的SC版本,其中我们试图纳入Chierichetti等人提出的公平性概念。根据这个概念,如果每个人口统计组在每个聚类中近似地按比例表示,则聚类是公平的。为此,我们开发了规范化和非规范化约束SC的变体,并表明它们有助于在合成和真实数据上找到更公平的聚类。我们还提供了一个严格的理论分析,我们的算法上的一个自然的随机块模型,其中$h$组有很强的组间连接,但也表现出一个“自然”的聚类结构,这是公平的。我们证明,我们的算法可以恢复这种公平的聚类概率很高。
2019-05-10 cs.DS cs.LG stat.ML