The Effectiveness of Uniform Sampling for Center-Based Clustering with Outliers
University of Science and Technology of China(中国科学技术大学)
聚类在计算机科学中有许多重要的应用,但现实世界的数据集往往包含离群值。此外,离群值的存在会使聚类问题更具挑战性。为了降低复杂性,在过去的几年中,已经提出了各种采样方法。也就是说,我们从输入中取一个小样本(均匀或非均匀),并对该样本运行现有的近似算法。与现有的非均匀采样方法相比,均匀采样方法具有几个显著的优点。例如,它只需要在一次通过中读取数据,并且在实践中非常容易实现。因此,均匀抽样在孤立点聚类中的有效性是一个自然的和基本的问题,值得在理论和实践中研究。本文提出了一个新的统一的框架来分析均匀抽样对三种典型的基于中心的离群点聚类问题的有效性,即$k$ -中心/中值/均值离群点聚类。我们引入了一个“显著性”准则,并证明了均匀采样的性能取决于给定实例的显著程度。特别是,我们表明,样本大小可以是独立的比例$n/z$和维数。更重要的是,据我们所知,我们的方法是第一个统一的采样方法,允许丢弃正是$z$离群值为这三个基于中心的聚类离群值的问题。本文的结果也可以看作是以前的次线性时间算法的普通聚类问题(无离群点)的推广。实验结果表明,均匀采样方法可以达到与其他现有方法相当的聚类结果,但大大减少了运行时间。
2020-05-01 cs.DS cs.LG
Clustering What Matters in Constrained Settings
本文提出一个通用框架,将约束k-中位数和k-均值问题的离群点版本归约到无离群点版本,仅损失(1+ε)近似比,并首次给出容量约束和Ulam度量下的FPT近似算法。
2025-04-21 cs.DS
Simple KNN-Based Outlier Detection Achieves Robust Clustering
Duke University(杜克大学)
本文证明在合理假设下,简单移除KNN距离大的点可将稳健k均值转化为标准k均值,且在聚类成本和运行时间上优于其他算法。
2026-05-08 cs.DS cs.LG
Exact ratio preservation via outliers for fair $k$-center clustering
Heinrich Heine University Düsseldorf, Faculty of Mathematics and Natural Sciences(杜塞尔多夫海因里希·海涅大学数学与自然科学学院)
研究人口公平约束下的k中心聚类问题,结合知名公平聚类模型与离群值概念,给出实用组合框架,为多组比例设置提供常数因子近似解并评估算法实用性。
2026-07-10 cs.DS
Clustering with Set Outliers and Applications in Relational Clustering
University of California, Santa Cruz(加州大学圣克鲁兹分校);Meta Platforms(Meta平台);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出了一种具有集合异常值的k-中心聚类模型,并在关系聚类中应用,通过近似算法实现了鲁棒聚类与查询评估的紧密联系。
2025-12-22 cs.DB cs.DS
Near-optimal Coresets for Robust Clustering
我们考虑$\mathbb{R}^d$中的鲁棒聚类问题,特别是$k$ -聚类问题(例如,$k$ -中位数和$k$ -具有$m$离群值的均值,其中给定中心集$C \subset \mathbb{R}^d$的成本聚合了从$C$到除最远$m$数据点以外的所有数据点的距离,而不是像经典聚类中那样聚合了所有点。我们专注于$ε$ -coreset强大的聚类,一个小的代理数据集,保留聚类成本内的$ε$ -相对误差的所有中心集。我们的主要结果是一个大小为$O(m + \mathrm{poly}(k ε^{-1}))$的$ε$核集,它可以在近线性时间内构造。这显著地改进了先前的结果,先前的结果要么对$(m + k)$具有指数依赖性[Feldman和Schulman,SODA'12],要么具有较弱的双标准保证[Huang等人,FOCS'18]。此外,我们表明这种依赖性在$m$是接近最优的,它是孤立的,从其他因素的事实可能是至关重要的处理大量的离群值。我们通过适应最近框架的离群值来构建我们的核心集[Braverman et al.,FOCS'22],克服了成本中的参与项,特别是被排除的$m$离群点依赖于中心集$C$的新挑战。我们在各种数据集上验证了我们的核心集,与包括均匀采样和敏感性采样在内的流行基线相比,我们观察到了一个优越的尺寸精度权衡。我们还实现了显着的加速现有的近似算法强大的聚类使用我们的核心集。
2022-10-19 cs.DS
A Practical Algorithm for Distributed Clustering and Outlier Detection
Indiana University Bloomington(印第安纳大学伯明顿分校)
我们研究了经典的$k$ -均值/中值聚类,这是无监督学习中的基本问题,在数据被划分为多个站点的设置中,并且允许我们通过将其标记为离群值来丢弃一小部分数据。我们提出了一个简单的方法,基于构建小摘要的原始数据集。该方法具有时间和通信效率高、逼近性好、能有效识别全局离群点等优点。据我们所知,这是第一个实用的算法与理论保证分布式聚类离群值。我们在真实数据和合成数据上的实验表明,我们的算法在几乎所有指标上都明显优于所有基线算法。
2018-10-11 cs.AI cs.DC cs.DS
Linear Programming based Approximation to Individually Fair k-Clustering with Outliers
Indian Institute of Technology, Gandhinagar(印度理工学院甘地纳格尔分校)
本文针对含离群点的k均值聚类,提出基于线性规划识别离群点并排除,再通过舍入算法计算中心,满足个体公平性约束,提供理论近似保证并实证验证。
2024-12-14 cs.DS cs.LG stat.ML
Randomized Greedy Algorithms and Composable Coreset for k-Center Clustering with Outliers
University of Science and Technology of China(中国科学技术大学)
本文研究了具有孤立点的{ \em $k$ -中心聚类}问题。该问题在现实世界中有许多重要的应用,但离群值的存在会显著增加计算复杂性。虽然在过去的几十年里,已经开发了许多方法,它仍然是相当具有挑战性的设计质量保证的算法,低复杂度的问题。我们的想法是启发贪婪的方法,冈萨雷斯的算法,这是解决普通的$k$中心聚类问题。基于一些新的观察,我们表明,这种贪婪策略的一个简单的随机版本实际上可以有效地处理离群值。我们进一步表明,这种随机贪婪的方法也产生小coreset的问题,在加倍度量(即使加倍维数是不给),这可以大大降低计算复杂性。此外,与arXiv:1703.01539中提出的部分聚类框架一起,我们证明了我们的coreset方法可以应用于具有低通信复杂性的分布式数据。实验结果表明,我们的算法可以获得接近最优的解决方案,并产生较低的复杂度相比,现有的方法。
2023-01-07 cs.DS cs.LG
Outliers Detection Is Not So Hard: Approximation Algorithms for Robust Clustering Problems Using Local Search Techniques
在本文中,我们考虑了两种类型的稳健模型的$k$ -median/ $k$ -means问题:离群版本($k$ -MedO/ $k$ -MeaO)和惩罚版本($k$ -MedP/ $k$ -MeaP),其中我们可以标记一些点作为离群值,并丢弃它们。在$k$ -MedO/ $k$ -MeaO中,离群值的数量由给定整数限定。在$k$ -MedP/ $k$ -MeaP中,我们不限制离群值的数量,但每个离群值将产生惩罚成本。我们开发了一种新的技术来分析这两个问题的局部搜索算法的近似比,通过引入一个自适应的集群,可以捕获有用的信息离群在本地和全球最优解。对于$k$,我们将基于局部搜索的最佳逼近比从$25+\varepsilon$改进为$9+\varepsilon$ .对于$k$ -MedP,我们得到了最好的近似比。对于$k$ -MedO/ $k$ -MeaO,只存在两种基于局部搜索的双准则近似算法。一个违反了离群值约束(离群值数量的约束),而另一个违反了基数约束(聚类数量的约束)。我们考虑了前一种算法,对$k$ -MedO的逼近比从$17+\varepsilon$改进到$3+\varepsilon$,对$k$ -MeaO的逼近比从$274+\varepsilon$改进到$9+\varepsilon$.
2020-12-30 cs.DS math.CO
Perturbation Resilient Clustering for $k$-Center and Related Problems via LP Relaxations
我们在扰动弹性模型中考虑聚类,该扰动弹性模型自Bilu和Linial [ICS,2010]以及Awasthi,Blum和Sheffet [Inf. Proc. Lett.,2012年]。一个聚类实例$I$被称为是$α$ -扰动弹性,如果最佳解决方案不改变时,成对的距离被修改的一个因素$α$和扰动的距离满足度量属性--这是度量扰动弹性属性引入Angelidakis等。[STOC,2010]和比先前模型更弱的要求。我们做出了两个高级别的贡献。1)我们证明了$k$ -中心和非对称$k$ -中心的自然LP松弛对于$2$ -扰动弹性实例是积分的.我们相信,证明良好的标准LP松弛补充现有的结果是基于组合算法设计的扰动模型。2)我们定义了一个简单的新模型的扰动弹性聚类\emph{outliers}。利用这个模型,我们表明,统一的MST和动态规划的基础上提出的算法Angelidakis等。[STOC,2010]精确地解决了当实例是$2$ -扰动弹性时,针对几个常见的基于中心的目标(如$k$ -中心、$k$ -均值、$k$ -中值)的具有离群值的聚类问题。我们进一步表明,一个自然的LP relationship是不可分割的$2$扰动弹性实例的\kcenter离群。
2018-06-11 cs.DS
k-Center Clustering with Outliers in Sliding Windows
University of Padova(帕多瓦大学)
度量$k$ -中心聚类是基本的无监督学习原语。虽然被广泛使用,但该原语受到数据中噪声的严重影响,因此更合理的变体寻求忽略数据集的给定数量$z$的点(称为离群值)的最佳解决方案。我们提供了有效的算法,在滑动窗口设置下的流模型中的这个重要的变体,其中,在每个时间步,要聚类的数据集是窗口$W$的最近的数据项。我们的算法实现了$O(1)$近似,值得注意的是,需要一个工作记忆的线性$k+z$和对数的$|W|$。作为一个副产品,我们展示了如何估计的有效直径的窗口$W$,这是一个衡量的窗口点的传播,忽略了一个给定的分数的噪声距离。我们还提供了我们的理论结果的实际可行性的实验证据。
2022-01-07 cs.DS cs.LG
$\varepsilon$-Coresets for Clustering (with Outliers) in Doubling Metrics
研究了在双倍度量$M(X, d)$下$(k, z)$ -聚类问题的$\varepsilon$ -核心集的构造问题. $\varepsilon$ -coreset是具有权重函数$w : S \rightarrow \mathbb{R}_{\geq 0}$的加权子集$S\subseteq X$,使得对于任何$k$ -子集$C \in [X]^k$,它保持$\sum_{x \in S}{w(x) \cdot d^z(x, C)} \in (1 \pm \varepsilon) \cdot \sum_{x \in X}{d^z(x, C)}$。我们提出了一个有效的算法,构造一个$\varepsilon$ -coreset的$(k, z)$ -聚类问题的$M(X, d)$,其中的coreset的大小只取决于参数$k, z, \varepsilon$和加倍维数$\mathsf{ddim}(M)$。据我们所知,这是第一个有效的$\varepsilon$ -coreset建设的大小独立的$|X|$一般的聚类问题的两倍指标。为此,我们建立了$M(X, d)$的加倍维数与距离$d$诱导的射程空间的破碎维数(或VC维数)之间的第一个关系。这样的关系以前是不知道的,因为人们可以很容易地构造这样的实例,其中任何一个都不能被另一个(的某个函数)所约束。令人惊讶的是,我们表明,如果我们允许一个小的$(1\pmε…
2018-08-18 cs.DS
Deterministic $O(1)$-Approximation Algorithms to 1-Center Clustering with Outliers
带离群值的单中心聚类问题要求识别一个近似于点聚类位置的原型鲁棒统计量。给定一些恒定的$0 < α< 1$和$n$点,使得它们中的$αn$位于半径为$r,$的某个(未知)球中,目标是计算半径为$O(r)$的球,该球也包含$αn$点。这个问题可以用赋范向量空间(如$\mathbb{R}^d$)或一般度量空间中的点来表示。该问题有一个简单的随机解:随机选择的点是具有恒定概率的正确解,并且其正确性可以在线性时间内得到验证。然而,这个问题的确定性复杂性是未知的。本文对任意的$\ell_p$向量空间,我们给出了一个具有半径为$O(r)$的球的$O(nd)$ -时间解,对于固定的$α> \frac{1}{2},$,我们给出了一个具有半径为$O(r)$的球的$O(nd)$ -时间解,对于任意的赋范向量空间,我们给出了一个具有半径为$O(r)$的球的$O(nd)$-时间解,对于所有的$α> 0, k \in \mathbb{N},$,我们给出了一个具有半径为$O(r)$的球的$O(nd)$-时间解,其中$\log^{(k)}(n)$表示$k$的第重对数,假设距离计算和向量空间操作花费$O(d)$时间。对于任意度量空间,我们显示任何$C \in \mathbb{N}$的$O(n^{1+1/C})$ -时间的解决方案,发现一个球的半径$2Cr,$假设任何一对点之间的距离计算需要$O(1)$ -时间。此外…
2018-09-27 cs.DS
Distributed $k$-Clustering for Data with Heavy Noise
University at Buffalo(布法罗大学)
在本文中,我们考虑$k$ -中心/中位数/均值聚类与离群值问题(或$(k, z)$ -中心/中位数/均值问题)在分布式设置。大多数以前的分布式算法的通信成本线性依赖于$z$,离群值的数量。最近,Guha等人通过考虑输出具有$2z$离群值的解的双准则近似算法克服了这种依赖性问题。对于其中$z$较大的情况,考虑到数据收集过程可能是昂贵的,由算法丢弃的额外的$z$离群值可能太大。在本文中,我们改进的离群值的数量,以最好的可能$(1+ε)z$,同时保持$O(1)$ -近似比和独立的通信成本$z$。我们考虑的问题包括$(k, z)$ -中心问题,和$(k, z)$ -中位数/均值问题的欧几里德度量。实施我们的算法$(k, z)$ -中心表明,它优于许多以前的算法,无论是在通信成本和质量的输出解决方案。
2018-11-29 cs.DC cs.DS cs.LG
Low Rank Approximation in the Presence of Outliers
我们考虑的问题,主成分分析(PCA)的存在离群值。给定矩阵$A$($d \times n$)和参数$k, m$,目标是移除$A$的至多$m$列的集合(称为离群值),以便最小化剩余矩阵的秩- $k$近似误差。虽然这个问题上的大部分工作都集中在恢复的秩- $k$子空间的假设下的内点和离群值,我们专注于上述的近似问题。我们的主要结果表明,基于采样的方法在无离群值的情况下,即使在离群值的存在下,也能提供非平凡的保证。利用这一见解,我们开发了一个简单的算法,有双标准的保证。此外,与类似的配方聚类,我们表明,双标准的保证是不可避免的问题,在适当的复杂性假设。
2018-05-11 cs.DS
Solving $k$-center Clustering (with Outliers) in MapReduce and Streaming, almost as Accurately as Sequentially
基于中心的聚类是数据分析的基础,对于大型数据集来说变得非常具有挑战性。在本文中,我们专注于流行的$k$ -中心变量,给定一组$S$的点从一些度量空间和一个参数$k<|S|$,需要确定一个子集的$k$中心在$S$最小化的最大距离的任何点的$S$从其最近的中心。一个更一般的公式,介绍了处理噪声数据集,具有进一步的参数$z$,并允许高达$z$点的$S$(离群值)被忽略时,计算最大距离的中心。我们提出了基于核心集的2轮MapReduce算法的上述两个公式的问题,和1-通过流算法的情况下,离群值。对于任何固定的$ε>0$,算法产生的解决方案,其近似比是一个纯粹的加法项$ε$远离那些可实现的最知名的多项式时间顺序算法,结果大大提高后的国家的最先进的。我们的算法是相当简单,并适应于数据集的内在复杂性,捕获的双维度$D$的度量空间。具体来说,我们的分析表明,该算法变得非常空间效率的小(常数)$D$的重要情况下。这些理论结果得到了一组在真实世界和超过10亿个点的合成数据集上进行的实验的补充,这些实验表明,我们的算法在具有出色的可扩展性的同时,可以产生比现有算法更高质量的解决方案,并且它们还可以比现有算法更快地顺序实现。
2021-06-01 cs.DC cs.DS
On Variants of Facility Location Problem with Outliers
在这项工作中,我们研究了两个变种的设施选址问题(FL)的扩展,使他们强大的几个遥远的客户端。首先,$k$ -设施选址问题($k$ FL)是FL和$k$中值问题的一个常见推广,是文献中研究得很好的问题。在第二种变体中,下界设施位置(LBFL),我们给出了一个开放设施必须服务的最小客户端数量的界限。在许多应用中,如商业中的盈利能力和运输问题中的负载均衡,都需要下界。在这两种情况下,解决方案的成本可能会因一些遥远的客户端(称为离群值)而大幅增加。因此,在这项工作中,我们扩展了$k$ FL和LBFL,使它们对离群值具有鲁棒性。对于具有离群值的$k$ FL($k$ FLO),我们给出了违反基数要求+1的第一(常数)因子近似。作为副产品,我们还获得了基于LP舍入的FLO的第一近似。对于LBFLO,我们提出了一个三准则的解决方案,在下界的违规和离群值的数量之间进行权衡。在下界违反$1/2$的情况下,我们得到离群值违反$2$的情况。
2021-07-01 cs.DS
Outlier-Robust Clustering of Non-Spherical Mixtures
我们给出了第一个离群鲁棒的有效算法聚类的混合物的$k$统计分离的d维高斯(k-GARCH)。具体地说,我们的算法从$k$-GMM和whp在$d^{\text{poly}(k/η)}$时间输入$ε$ -损坏的样本,输出一个近似的聚类,错误分类最多$k^{O(k)}(ε+η)$分数的点时,每对混合成分是由$1-\exp(-\text{poly}(k/η)^k)$在全变差(TV)距离分开。这种结果以前甚至对于$k=2$也是未知的。TV分离是统计学上最弱的分离概念,并捕获了重要的特殊情况,如混合线性回归和子空间聚类。我们的主要概念性贡献是提取简单的分析性质-(可证明的)超压缩性和有界方差的2次多项式和反浓度的线性投影-这是必要的和充分的混合模型是(有效)聚类。因此,我们的结果扩展到聚类混合物的任意仿射变换的均匀分布的$d$维单位球。即使是满足这两个分析假设的分离分布的信息理论聚类性在我们的工作之前也是未知的,并且可能是独立的兴趣。我们的算法建立在最近的一系列作品的基础上,这些作品依赖于Karmarkar,Klivans,Kothari和Raghavendra以及Yau在2019年的作品中首次引入的可证明的反浓度。我们的技术扩展了平方和工具包,以显示数据中TV分离的高斯聚类的鲁棒性。这涉及到通过仅依赖于超收缩性和反集中性来给出将参数(即均值和协方差)距离与总变异距离相关联的陈述的低度平方和证…
2020-12-14 cs.DS stat.ML
$k$-Center Clustering with Outliers in the MPC and Streaming Model
给定一个点集$P \subseteq X$,其大小为$n$,在一个具有双倍维数$d$和两个参数$k \in N$和$z \in N$的度量空间$(X,dist)$中,具有$z$离群值的$k$ -中心问题要求返回一个$k$中心集$C^\ast \subseteq X$,使得$P$中除了$z$点之外的所有点到它们在$C^\ast$中最近的中心的最大距离最小。这个问题的一个$(ε,k,z)$ -核心集是一个加权点集$P^*$,使得在$P^*$上具有$z$离群值的$k$ -中心问题的最优解给出了在$P$上具有$z$离群值的$k$ -中心问题的$(1\pmε)$ -近似.我们研究了大规模并行计算(MPC)模型中,以及在插入只有以及完全动态流模型的核心集的建设。对于任何给定的$0 < ε\le 1$,我们得到以下结果:在所有情况下,计算的coreset的大小是$O(k/ε^d+z)$。- 在MPC模型中,我们提出了一种确定性$2$轮和随机化$1$轮算法.此外,我们提供了一个确定性的算法,获得轮数,$R$和每台机器的存储之间的权衡。- 对于只插入流模型,我们提出了一个算法和一个紧的下界来支持它。-我们还讨论了动态流模型,它允许在数据流中插入和删除。在这个模型中,我们提出了第一个算法和一个下界。- 最后,我们考虑滑动窗口模型,其中我们有兴趣为流中的最后一个$W$点保持一个$(ε,k,z)$ -co…
2023-02-24 cs.CG cs.DS
FPT Approximations for Fair Sum of Radii with Outliers and General Norm Objectives
CISPA Helmholtz Center for Information Security(CISPA 赫尔姆霍兹信息安全中心)
本文提出一种(3+ε)-近似算法,解决含异常值的公平半径和问题,适用于一般范数目标,且在固定参数k下运行时间固定。
2026-04-24 cs.DS
Near-Linear Time Approximation Schemes for Clustering in Doubling Metrics
本文研究了双维度量空间$d$中的经典设施选址、$k$ -Median和$k$ -Means问题。我们给每个问题的近线性时间近似方案。我们的算法的复杂性是$2^{(\log(1/\eps)/\eps)^{O(d^2)}} n \log^4 n + 2^{O(d)} n \log^9 n$,使一个显着的改进,在时间上运行的最先进的算法$n^{(d/\eps)^{O(d)}}$。此外,我们展示了如何扩展的技术,用于获得第一个有效的近似方案的问题,奖金收集$k$ -中位数和$k$ -手段,和有效的双准则近似方案$k$ -中位数与离群值,$k$ -均值与离群值和$k$ -中心。
2020-05-20 cs.CG cs.DS
Clustering with diversity
我们考虑{ \em多样性聚类}问题:给定度量空间中的一组有色点,将它们划分为簇,使得每个簇至少有$\ell$点,所有点都具有不同的颜色。我们给这个问题的2-近似任何$\ell$时,目标是最小化任何集群的最大半径。我们表明,近似比是最佳的,除非$\mathbf{P=NP}$,通过提供一个匹配的下限。我们的算法的几个扩展也被开发用于处理离群值。这个问题主要是由隐私保护数据发布中的应用引起的。
2010-04-21 cs.DS
Capacitated Center Problems with Two-Sided Bounds and Outliers
近年来,容量限制中心问题引起了人们的广泛研究兴趣。给定一组顶点$V$,我们希望找到顶点的子集$S$,称为中心,使得最大聚类半径最小化。此外,$S$中的每个中心应该满足某种容量约束,该容量约束可以是其可以服务的顶点数量的上限或下限。具有单侧界(上界或下界)的容量约束$k$ -中心问题在以前的工作中得到了很好的研究,并得到了一个常数因子近似.我们是第一个研究容量限制中心问题的能力下限和上限(有或没有离群值)。我们假设每个顶点有一个一致的下界和一个非一致的上界。对于开放的情况下,正是$k$中心,我们注意到,最近的LP方法的推广可以实现常数因子近似算法为我们的问题。我们的主要贡献是一个简单的组合算法的情况下,没有基数约束的开放中心的数量。我们的组合算法是简单的,实现更好的常数逼近因子相比,LP方法。
2017-02-24 cs.DS
Approximation Algorithms for Clustering with Dynamic Points
我们研究了两个泛化的经典聚类问题,称为动态有序$k$ -中位数和动态$k$ -供应商,需要聚类的点随着时间的推移而发展,我们被允许移动连续的时间步长之间的聚类中心。在这些动态聚类问题中,一般的目标是最小化点的服务成本和中心的移动成本的某些组合,或最小化一个受到一些约束的其他。我们得到了一个常数因子近似算法的动态有序$k$ -中位数在温和的假设下的输入。当时间步数为2时,我们给出了动态$k$ -供应商的3-近似和其离群值的多准则近似,其中一些点可以被丢弃。我们补充几乎匹配的硬度结果的算法。
2022-07-25 cs.DS
Robust Communication-Optimal Distributed Clustering Algorithms
Rutgers University(罗格斯大学);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们研究了$k$ -中位数和$k$ -均值聚类问题时,数据分布在许多服务器上,可以包含离群值。虽然在最坏情况下对这些问题做了很多工作,但我们专注于通过超越最坏情况分析的视角获得更好的理解。我们的主要动机如下:对于许多应用程序,如聚类蛋白质的功能或聚类社区的社会网络中,有一些未知的目标聚类,并希望运行$k$ -中位数或$k$ -均值算法将产生聚类,这是接近匹配的目标聚类。最坏情况的结果可以保证恒定因子近似于最佳$k$ -中位数或$k$ -均值目标值,但不能接近目标聚类。我们的第一个结果是一个分布式算法,它返回一个接近最优的聚类假设一个自然的概念的稳定性,即近似稳定性[Balcan et. 2013年],即使当数据的恒定部分是离群值时。通信复杂性为$\tilde O(sk+z)$,其中$s$是机器的数量,$k$是集群的数量,$z$是离群值的数量。接下来,我们表明,即使在输入满足各种非最坏情况假设的情况下,这种通信量也无法得到改善。我们给出了一个匹配的$Ω(sk+z)$下界的通信都需要近似的最佳$k$ -手段或$k$ -中值成本的任何常数,并返回一个聚类,是接近目标聚类的汉明距离。即使当数据满足近似稳定性或其他常见的稳定性概念,并且集群大小是平衡的时,这些下限也保持不变。因此,$Ω(sk+z)$是一个通信瓶颈,即使对于实际实例也是如此。
2019-03-06 cs.DC cs.DS cs.LG
Towards a Model for LSH
Wufong University(五峰大学)
随着数据量的持续增长,聚类和离群值检测算法变得越来越耗时。由于“维数灾难”,用于邻居搜索的经典索引结构不再可持续。相反,近似索引结构提供了一个很好的机会,以显着加速聚类和离群值检测的邻居搜索,并在算法的结果中具有最低的可能出错率。局部敏感哈希就是其中之一。我们指出方向LSH的属性建模。
2021-05-11 cs.DB cs.DS cs.LG
A Sub-linear Time Framework for Geometric Optimization with Outliers in High Dimensions
许多现实世界的问题可以表述为高维的几何优化问题,特别是在机器学习和数据采掘领域。此外,在优化目标函数时,我们经常需要考虑离群值。然而,离群值的存在可能使问题比普通版本更具挑战性。本文首先研究了带离群点的基本最小包围球问题,部分受Besiddoiu和Clarkson的核心集方法的启发,提出了一种基于均匀自适应采样方法和三明治引理的次线性时间双准则近似算法.据我们所知,我们的结果是第一个次线性时间算法,其样本大小为({ \em,即,}采样点的数量),与输入点的数量$n$和维数$d$无关。此外,我们还发现这两种方法可以推广到更广泛的高维离群点几何优化问题,包括平面拟合、$k$ -中心聚类和离群点支持向量机,并分别实现了这些问题的次线性时间算法.
2020-05-01 cs.CG cs.DS
On Euclidean $k$-Means Clustering with $α$-Center Proximity
Microsoft Research(微软研究院);Indian Institute of Science(印度科学学院)
在最坏的情况下,$k$ -均值聚类是NP难的,但以前的工作已经表明了有效的算法,假设最佳的$k$ -均值聚类是\emph{stable}下添加剂或乘法扰动的数据。这里有两个警告。首先,我们不知道如何有效地验证最优解的这个属性,这些最优解首先是NP难计算的。其次,多项式时间$k$ -均值算法所需的稳定性假设与真实数据中的地面实况聚类相比往往是不合理的。乘性扰动弹性的结果是\emph{center proximity},即每个点都比任何其他聚类的中心更靠近其自身聚类的中心,通过某个乘性因子$α> 1$。我们研究的问题,最小化欧几里德$k$ -手段的目标,只有在聚类,满足$α$ -中心接近。我们给出了一个简单的算法来找到最佳的$α$ -中心-邻近$k$ -均值聚类在运行时间指数的$k$和$1/(α- 1)$,但线性的点数和维数。我们定义了一个类似的$α$中心接近条件的离群值,并给出了类似的算法保证$k$均值离群值和$α$中心接近。在硬度方面,我们表明,对于任何$α' > 1$,存在一个$α\leq α'$,$(α>1)$,和一个$\varepsilon_0 > 0$,使最小化的$k$ -手段目标的聚类,满足$α$ -中心接近是NP-难以近似的乘法$(1+\varepsilon_0)$因子。
2019-02-26 cs.DS cs.LG
Consistent $k$-Median: Simpler, Better and Robust
University at Buffalo(纽约州立大学布法罗分校);Microsoft Research(微软研究院)
在本文中,我们介绍和研究在线一致的$k$ -聚类离群值问题,推广的非离群值版本的问题研究[Lattanzi-Vassilvitskii,ICML 17]。我们发现,一个简单的本地搜索为基础的在线算法可以给一个双准则常数近似的问题与$O(k^2 \log^2 (nD))$交换中位数(追索权)的总,其中$D$是直径的度量。当被限制到没有离群值的问题时,我们的算法是简单的,确定性的,并提供更好的近似比和追索权,与[Lattanzi-Vassilvitskii,ICML 17]相比。
2020-08-13 cs.DS cs.LG
Layered Sampling for Robust Optimization Problems
在现实世界中,我们的数据集经常包含离群值。此外,离群值会严重影响最终的机器学习结果。大多数用于处理离群值的现有算法具有高时间复杂度(例如,二次或三次复杂度)。{ \em Coreset}是一种常用的数据压缩方法,可以提高优化算法的速度。然而,目前的coreset方法不能很容易地扩展到处理离群值的情况下。在本文中,我们提出了一个新的变体coreset技术,{ \em分层采样},处理两个基本的鲁棒优化问题:{ \em $k$ -中位数/均值聚类离群值}和{ \em线性回归离群值}。这种新的coreset方法特别适合于加速迭代算法(通常在局部范围内改善解),这些鲁棒优化问题。此外,我们的方法很容易在实践中实现。我们希望我们的分层抽样框架将适用于其他强大的优化问题。
2020-02-27 cs.CG cs.DS math.OC
On Metric DBSCAN with Low Doubling Dimension
基于密度的聚类方法{ \em Density-Based Spatial Clustering of Applications with Noise(DBSCAN)}是一种流行的孤立点识别方法,受到了许多不同领域的关注。原始DBSCAN的一个主要问题是时间复杂度可能与二次方一样大。现有的DBSCAN算法大多致力于在低维欧氏空间中开发高效的索引结构以加快搜索速度。然而,目前在高维欧氏空间或一般度量空间中的DBSCAN算法的研究还很有限。在本文中,我们考虑度量DBSCAN问题的假设下,内点(不包括离群点)有一个低的双倍维数。我们采用了一种新的随机$k$中心聚类的思想,以减少范围查询的复杂性,这是整个DBSCAN过程中最耗时的步骤。本文提出的算法不需要建立复杂的数据结构,易于实现。实验结果表明,我们的算法可以显着优于现有的DBSCAN算法的运行时间。
2020-02-27 cs.CG cs.DS
Robust and Fully-Dynamic Coreset for Continuous-and-Bounded Learning (With Outliers) Problems
University of Science and Technology of China(中国科学技术大学);ByteDance AI Lab(字节跳动人工智能实验室)
在许多机器学习任务中,处理大规模数据的常见方法是构建小摘要,{ \em e.g.} coreset,它可以有效地表示原始输入。然而,现实世界的数据集通常包含离群值,并且大多数现有的coreset构造方法对离群值没有弹性(特别是,离群值可以由对抗性攻击者在空间中任意定位)。在本文中,我们提出了一种新的鲁棒coreset方法,用于{ \em continuous-and-bounded learning}问题(具有离群值),其中包括机器学习中广泛的流行优化目标,{ \em e.g.}逻辑回归和$ k $ -均值聚类。此外,我们的鲁棒coreset可以有效地保持在全动态环境中。据我们所知,这是第一个强大的和完全动态的coreset建设方法,这些优化问题。另一个亮点是,我们的核心集大小可以取决于参数空间的双倍维数,而不是目标函数的VC维数,这可能非常大,甚至难以计算。最后,我们在真实世界的数据集上进行实验,以评估我们提出的鲁棒coreset方法的有效性。
2022-01-21 cs.DS cs.LG stat.ML