Randomized Greedy Algorithms and Composable Coreset for k-Center Clustering with Outliers
University of Science and Technology of China(中国科学技术大学)
本文研究了具有孤立点的{ \em $k$ -中心聚类}问题。该问题在现实世界中有许多重要的应用,但离群值的存在会显著增加计算复杂性。虽然在过去的几十年里,已经开发了许多方法,它仍然是相当具有挑战性的设计质量保证的算法,低复杂度的问题。我们的想法是启发贪婪的方法,冈萨雷斯的算法,这是解决普通的$k$中心聚类问题。基于一些新的观察,我们表明,这种贪婪策略的一个简单的随机版本实际上可以有效地处理离群值。我们进一步表明,这种随机贪婪的方法也产生小coreset的问题,在加倍度量(即使加倍维数是不给),这可以大大降低计算复杂性。此外,与arXiv:1703.01539中提出的部分聚类框架一起,我们证明了我们的coreset方法可以应用于具有低通信复杂性的分布式数据。实验结果表明,我们的算法可以获得接近最优的解决方案,并产生较低的复杂度相比,现有的方法。
2023-01-07 cs.DS cs.LG
Randomized Composable Coresets for Matching and Vertex Cover
为大规模数据集设计可扩展算法的一种常见方法是将计算分布在机器(比如说$k$)上,并使用它们之间的有限通信来处理数据。这里一个特别有吸引力的框架是同时通信模型,其中每台机器都构建其自身数据的小型代表性摘要,然后从代表性摘要的联合中获得近似/精确的解决方案。如果一个问题所需的代表性摘要很小,那么这将导致一个通信高效和轮最优的协议。虽然许多基本的图形问题承认有效的解决方案,在这个模型中,两个突出的问题是显着缺席的成功列表,即最大匹配问题和最小顶点覆盖问题。事实上,最近的研究表明,对于这两个问题,即使实现polylog $(n)$近似,也需要从每台机器发送整个输入图。我们工作的主要见解是,在同时通信模型中匹配和顶点覆盖的棘手性本质上与跨机器的底层图的对抗性分区有关。我们表明,当底层图形随机划分的机器,这两个问题承认随机组合coresets的大小$\widetilde{O}(n)$,产生一个$\widetilde{O}(1)$近似的解决方案。这导致在$\widetilde{O}(1)$ -近似的同时协议,这些问题与$\widetilde{O}(nk)$总通信时,输入是随机划分在$k$机器。我们进一步证明了我们的结果的最优性。最后,通过一个标准的可组合核心集的应用,我们的结果也意味着MapReduce算法在一轮或两轮通信中具有相同的近似保证
2017-05-23 cs.DC cs.DS
Towards Tight Robust Coresets for $k$-Medians Clustering
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学)
针对含离群点的鲁棒 $k$-中位数问题,提出在VC/倍增维度量空间和欧氏空间中大小接近最优的核心集构造,并推广到鲁棒 $(k,z)$-聚类。
2026-06-12 cs.CG cs.DM cs.DS
Towards Optimal Lower Bounds for k-median and k-means Coresets
Google Research(谷歌研究院);Aarhus University(奥胡斯大学);Sorbonne Université(索邦大学)
给定度量空间中的一组点,$(k,z)$聚类问题包括找到一组称为中心的$k$点,使得每个数据点到其最近中心的距离之和最小化为$z$的幂。特殊情况包括著名的k-中位数问题($z = 1$)和k-均值问题($z = 2$)。$k$ -中位数和$k$ -均值问题是现代数据分析的核心,海量数据应用已经提出了coreset的概念:输入点集的一个小(加权)子集,保留问题的任何解决方案的成本,直到乘法$(1 \pm \varepsilon)$因子,从而从大到小减少问题的输入。在本文中,我们提出了各种度量空间中的coreset的改进的下界。在有限度量组成的$n$点和加倍度量与加倍常数$D$,我们表明,任何coreset的$(k,z)$聚类必须至少包括$Ω(k \varepsilon^{-2} \log n)$和$Ω(k \varepsilon^{-2} D)$点,分别。这两个边界都与先前的上限匹配,直到polylog因子。在欧氏空间中,我们证明了$(k,z)$聚类的任何核心集必须至少由$Ω(k\varepsilon^{-2})$点组成。我们补充这些下限与coreset建设组成的最多$\tilde{O}(k\varepsilon^{-2}\cdot \min(\varepsilon^{-z},k))$点。
2022-02-25 cs.CG cs.DS cs.LG
Coresets for Clustering in Geometric Intersection Graphs
在基于中心的$k$ -聚类问题(如$k$ -means或$k$ -median)的研究中,设计核心集--$(1\pm ε)$ -近似因子中解的数据保持代价的小空间草图是一个重要的研究方向. Feldman和Langberg [STOC'11]已经表明,对于一般度量中的$n$点的$k$ -聚类,可以获得其大小在$n$中以几何方式依赖的核心集。此外,在一般度量中,$n$中的这种依赖性是不可避免的。该领域的大量近期工作致力于获得其大小独立于$n$的岩心(即,"small“coresets)的特殊度量,如$d$维欧氏空间,加倍度量,度量的图有界树宽,或那些不包括一个固定的小。在本文中,我们提供了第一个结构的小coreset的$k$ -聚类的度量诱导的几何求交图,如欧几里德加权单位圆盘/平方图。这些建设遵循一个一般定理,确定两个典型的性质,足以获得小coresets的图度量。我们定理的证明建立在Cohen-Addad,Saulpic和Schwiegelshohn [STOC '21]最近的工作基础上,该工作确保了以存在一组有趣的中心为条件的小尺寸coresets,称为“质心集”。我们工作的主要技术贡献是证明了满足这两个正则几何性质的图存在这样一个小尺寸的质心集。新的coreset结构有助于设计第一个$(1+ε)$近似的中心为基础的聚类问题在UDG和USG,这是固定参数的易处理的$k$和$ε$…
2023-03-02 cs.CG cs.DS
A New Coreset Framework for Clustering
给定一个度量空间,$(k,z)$ -聚类问题包括找到$k$中心,使得距离的总和提高到每个点到其最近中心的幂$z$最小化。这概括了著名的$k$ -中位数($z=1$)和$k$ -均值($z=2$)集群问题。在过去的15年里,设计近似保留解决方案成本的数据的小空间草图(也称为\emph{coresets})一直是一个重要的研究方向。在本文中,我们提出了一个新的,简单的coreset框架,同时提高了最好的已知的各种设置的界限,范围从欧氏空间,加倍度量,小自由度量,和一般度量的情况下。
2022-07-29 cs.DS
On Optimal Coreset Construction for Euclidean $(k,z)$-Clustering
该研究针对欧氏$(k,z)$-聚类核心集规模的上下界差距问题,提出了新的最优下界及改进的上界构造算法,明确了大参数范围内的最优核心集规模。
2024-03-13 cs.CG cs.DS
Clustering High Dimensional Dynamic Data Streams
我们提出了数据流算法的$k$ -中位数问题的高维动态几何数据流,即流允许插入和删除的点从一个离散的欧几里德空间$\{1, 2, \ldots Δ\}^d$。我们的算法使用$k ε^{-2} poly(d \log Δ)$空间/时间,并保持高概率的一个小的加权点集(coreset),这样,对于每一组$k$中心的coreset $(1+ε)$的成本-近似的流点集的成本。我们还提供了算法,保证只有积极的权重在coreset与额外的对数因子的空间和时间复杂度。我们可以使用这个正加权的核心集来计算$(1+ε)$ -近似的$k$ -中位数问题的任何有效的离线$k$ -中位数算法。所有以前的算法计算$(1+ε)$ -近似的$k$ -中位数问题的动态数据流需要在$d$的空间和时间指数。我们的算法可以推广到有界双维的度量空间。
2017-06-13 cs.DS
$k$-Center Clustering with Outliers in the MPC and Streaming Model
给定一个点集$P \subseteq X$,其大小为$n$,在一个具有双倍维数$d$和两个参数$k \in N$和$z \in N$的度量空间$(X,dist)$中,具有$z$离群值的$k$ -中心问题要求返回一个$k$中心集$C^\ast \subseteq X$,使得$P$中除了$z$点之外的所有点到它们在$C^\ast$中最近的中心的最大距离最小。这个问题的一个$(ε,k,z)$ -核心集是一个加权点集$P^*$,使得在$P^*$上具有$z$离群值的$k$ -中心问题的最优解给出了在$P$上具有$z$离群值的$k$ -中心问题的$(1\pmε)$ -近似.我们研究了大规模并行计算(MPC)模型中,以及在插入只有以及完全动态流模型的核心集的建设。对于任何给定的$0 < ε\le 1$,我们得到以下结果:在所有情况下,计算的coreset的大小是$O(k/ε^d+z)$。- 在MPC模型中,我们提出了一种确定性$2$轮和随机化$1$轮算法.此外,我们提供了一个确定性的算法,获得轮数,$R$和每台机器的存储之间的权衡。- 对于只插入流模型,我们提出了一个算法和一个紧的下界来支持它。-我们还讨论了动态流模型,它允许在数据流中插入和删除。在这个模型中,我们提出了第一个算法和一个下界。- 最后,我们考虑滑动窗口模型,其中我们有兴趣为流中的最后一个$W$点保持一个$(ε,k,z)$ -co…
2023-02-24 cs.CG cs.DS
Coreset-based Strategies for Robust Center-type Problems
University of Padova(帕多瓦大学)
给定来自某个度量空间的点的数据集$V$,流行的$k$ -中心问题需要识别$V$中的$k$点(中心)的子集,以最小化$V$中的任何点到其最近中心的最大距离。该问题的\emph{robust}公式具有另一个参数$z$,并允许在计算距中心的最大距离时忽略$V$的最多$z$点(离群值)。在本文中,我们专注于两个重要的约束变种的鲁棒$k$ -中心问题,即鲁棒拟阵中心(RMC)问题,其中返回中心的集合被约束为一个独立的集合的秩$k$建立在$V$,和鲁棒背包中心(RKC)问题,其中,每个元素$i\in V$被赋予正权重$w_i<1$,并且返回的中心的合计权重必须至多为1。我们设计了基于核心集的策略,这两个问题产生有效的顺序,MapReduce,和流算法。更具体地,对于任何固定的$ε>0$,算法返回具有$(3+ε)$ -近似比的解决方案,其仅仅是远离通过用于两个问题的最佳已知多项式时间序列算法可实现的3-近似的加性项$ε$。此外,该算法不经意地适应数据集的内在复杂性,由其双倍维度$D$捕获。对于宽范围的参数$k,z,ε, D$,我们得到了一个顺序算法的运行时间线性的$|V|$,和MapReduce/流算法与几轮/通过和基本上次线性的本地/工作内存。
2020-02-18 cs.DC cs.DS cs.LG
Fully dynamic clustering and diversity maximization in doubling metrics
本文提出全动态设置下基于核心集与增强覆盖树的近似算法,解决k-中心、拟阵中心及多样性最大化问题,实现(α+ε)-近似,且运行时间不依赖精度参数。
2023-02-15 cs.DS
Dimension-Free Parameterized Approximation Schemes for Hybrid Clustering
本文研究 Hybrid $k$-Clustering 的参数化近似,提出仅关于 $k$、$\varepsilon$ 的 FPT 双准则方案,消除维度指数依赖,并扩展到多类度量、变体及 coreset。
2025-01-07 cs.CG cs.DS
Accurate MapReduce Algorithms for $k$-median and $k$-means in General Metric Spaces
基于中心的聚类是数据分析的基础,对于大型数据集来说变得非常具有挑战性。在本文中,我们专注于流行的$k$ -中位数和$k$ -意味着变种,给定一组$P$的点从度量空间和一个参数$k<|P|$,需要确定一组$S$的$k$中心最小化,分别是距离和距离的平方和的总和,所有点在$P$从他们最近的中心。我们的具体重点是一般的度量空间,这是合理的,要求中心属于输入集(即,$S \subseteq P$)。我们提出了基于核心集的3轮分布式近似算法的上述问题使用MapReduce计算模型。该算法是相当简单的和obligantly适应的内在复杂性的数据集,捕获的双重维度$D$的度量空间。值得注意的是,该算法获得的近似比,可以任意接近那些可实现的最知名的多项式时间顺序近似,他们是非常小的空间效率为$D$,需要本地存储器的大小基本上是次线性的输入大小。据我们所知,没有以前的分布式方法能够在一般度量空间中获得类似的质量性能保证。
2019-09-29 cs.DC cs.DS
Improved Approximation and Scalability for Fair Max-Min Diversification
给定$n$ -点度量空间$(\mathcal{X},d)$,其中每个点属于$m=O(1)$不同类别或组中的一个以及整数集合$k_1, \ldots, k_m$,公平Max-Min多样化问题是选择属于类别$i\in [m]$的$k_i$点,使得所选点之间的最小成对距离最大化。该问题由Moumoulidou等人[ICDT 2021]提出,其动机是需要在各种应用中对大数据集进行下采样,以便导出的样本实现多样性的平衡,即,一对选定点之间的最小距离和公平性,即,确保每个类别都包含足够的点数。我们证明了以下结果:1.我们首先考虑一般度量空间。我们提出了一个随机的多项式时间算法,返回一个因素$2$ -近似的多样性,但只满足公平性的约束的期望。在此基础上,我们提出了一个$6$近似,保证满足公平性约束的一个因素$1-ε$为任何常数$ε$。我们还提出了一个线性时间算法返回一个$m+1$近似精确公平。之前最好的结果是$3m-1$近似。2.然后,我们专注于欧几里德度量。我们首先表明,该问题可以在一维精确地解决。对于常数维,类别和任何常数$ε>0$,我们提出了一个$1+ε$近似算法,运行在$O(nk) + 2^{O(k)}$时间,其中$k=k_1+\ldots+k_m$。我们可以改进$O(nk)+ poly(k)$的运行时间,但代价是只从类别$i\in [m]$中挑选$(1-ε) k_i$点。最后,我们提出…
2022-01-18 cs.DS
Distributed k-Means with Outliers in General Metrics
University of Padova(帕多瓦大学)
基于中心的聚类是无监督学习和数据分析的关键基础。一个流行的变体无疑是k-均值问题,其中,给定来自度量空间的点的集合$P$和参数$k<|P|$,需要确定$k$中心的子集$S$,以最小化$P$中的点到其最近中心的所有平方距离之和。一个更一般的公式,称为k均值与$z$离群值,介绍了处理噪声数据集,具有进一步的参数$z$,并允许高达$z$点的$P$(离群值)被忽略时,计算上述总和。我们提出了一个分布式的基于核心集的3轮近似算法的k-means与$z$离群值一般度量空间,使用MapReduce作为计算模型。我们的分布式算法需要次线性的本地内存每个减少器,并产生一个解决方案,其近似比是一个添加剂项$O(γ)$远离一个可实现的最知名的顺序(可能双准则)算法,其中$γ$可以任意小。我们的算法的一个重要特征是,它不经意地适应数据集的内在复杂性,由度量空间的双倍维度$D$捕获。据我们所知,以前的分布式方法都不能达到类似的质量-性能权衡一般指标。
2022-02-18 cs.DC cs.DS cs.LG
Solving $k$-center Clustering (with Outliers) in MapReduce and Streaming, almost as Accurately as Sequentially
基于中心的聚类是数据分析的基础,对于大型数据集来说变得非常具有挑战性。在本文中,我们专注于流行的$k$ -中心变量,给定一组$S$的点从一些度量空间和一个参数$k<|S|$,需要确定一个子集的$k$中心在$S$最小化的最大距离的任何点的$S$从其最近的中心。一个更一般的公式,介绍了处理噪声数据集,具有进一步的参数$z$,并允许高达$z$点的$S$(离群值)被忽略时,计算最大距离的中心。我们提出了基于核心集的2轮MapReduce算法的上述两个公式的问题,和1-通过流算法的情况下,离群值。对于任何固定的$ε>0$,算法产生的解决方案,其近似比是一个纯粹的加法项$ε$远离那些可实现的最知名的多项式时间顺序算法,结果大大提高后的国家的最先进的。我们的算法是相当简单,并适应于数据集的内在复杂性,捕获的双维度$D$的度量空间。具体来说,我们的分析表明,该算法变得非常空间效率的小(常数)$D$的重要情况下。这些理论结果得到了一组在真实世界和超过10亿个点的合成数据集上进行的实验的补充,这些实验表明,我们的算法在具有出色的可扩展性的同时,可以产生比现有算法更高质量的解决方案,并且它们还可以比现有算法更快地顺序实现。
2021-06-01 cs.DC cs.DS