Distributed k-Means and k-Median Clustering on General Topologies
Georgia Institute of Technology(佐治亚理工学院)
本文提供了两个流行的中心为基础的目标,k-median和k-means分布式聚类的新算法。这些算法具有可证明的保证,并改善了现有方法的通信复杂性。遵循\cite{har2004coresets}聚类的经典方法,我们将寻找低成本聚类的问题归结为寻找小规模核心集的问题。我们提供了一个分布式的方法来构建一个全球coreset,提高了以前的方法,通过降低通信复杂性,并在一般的通信拓扑结构。在大规模数据集上的实验结果表明,该方法优于其他基于核集的分布式聚类算法。
2020-01-25 cs.DC cs.LG stat.ML
Distributed Graph Clustering and Sparsification
图聚类是一个基本的计算问题,在算法设计、机器学习、数据采掘和社交网络分析中有许多应用。在过去的几十年里,研究人员提出了许多图聚类的算法设计方法。然而,大多数这些方法是基于复杂的谱技术或凸优化,并不能直接应用于聚类许多网络发生在实践中,其信息往往是在不同的网站上收集。设计一个简单的分布式聚类算法是一个很有意义的问题,在处理大数据集方面有着广泛的应用。在本文中,我们提出了一个简单的分布式算法图聚类:对于广泛的一类图,其特征在于由一个强大的集群结构,我们的算法完成在一个多对数轮数,并恢复分区的图形接近最佳。我们的算法背后的主要组成部分之一是一个采样方案,给定一个密集的图作为输入,产生一个稀疏的子图,可证明保留的集群结构的输入。与以往的稀疏化算法,需要拉普拉斯求解器或涉及组合结构相比,该组件是易于实现的分布式方式,在实践中运行速度快。
2017-11-03 cs.DC cs.DS
Lightweight Trustworthy Distributed Clustering
University of Luxembourg(卢森堡大学);University Paris-Saclay(巴黎萨克雷大学)
针对边缘计算系统中节点数据可信性与协作处理的挑战,提出轻量级全分布式k-means聚类算法,通过加法秘密共享的分布式平均方法更新簇中心,保障跨节点数据的准确性与可信性。
2025-04-14 cs.AI cs.DC
Scalable Distributed Subtrajectory Clustering
轨迹聚类是从移动数据中发现知识的重要操作。特别是在当今,以高效和可扩展的方式对大规模生产的数据(如移动轨迹)执行高级分析操作的需求势在必行。然而,发现完整轨迹的集群可能会忽略只存在于其生命周期的一小部分的重要模式。在本文中,我们解决了问题的分布式子轨迹聚类在一个有效的和高度可扩展的方式。这个问题是具有挑战性的,因为要聚类的子轨迹是事先不知道的,但他们需要动态地发现相邻的子轨迹在空间和时间。为了实现这一目标,我们将原问题分解为三个子问题,即子轨迹连接,轨迹分割和聚类以及离群点检测,并利用MapReduce编程模型以分布式方式处理每个问题。我们的解决方案的效率和有效性的实验证明了一个合成的和两个大的真实数据集从海洋和城市领域,并通过比较与两个国家的最先进的子轨迹聚类算法。
2019-06-18 cs.DB cs.DC
Distributed Silhouette Algorithm: Evaluating Clustering on Big Data
Politecnico di Torino(都灵理工大学)
在大数据时代,每种算法需要具备的关键特征是能够在分布式环境中高效并行运行。不幸的是,用于评估聚类质量的流行的Silhouette度量不具有此属性,并且相对于输入数据集的大小具有二次计算复杂性。出于这个原因,它的执行在大数据场景中受到了阻碍,在这些场景中,必须以其他方式评估聚类。为了填补这一空白,在本文中,我们介绍了第一个算法,计算的轮廓度量线性复杂度,可以很容易地在分布式环境中并行执行。它的实现在Apache Spark ML库中免费提供。
2023-03-24 cs.AI cs.DC cs.DS
Optimizing Compilation for Distributed Quantum Computing via Clustering and Annealing
University of Pittsburgh(匹兹堡大学);University of California, Santa Cruz(加州大学圣克鲁斯分校)
本文提出通过聚类和退火优化分布式量子计算编译,有效降低目标值,提升异构量子系统的映射效率。
2025-08-21 cs.DC quant-ph
Reliable Distributed Clustering with Redundant Data Assignment
College of Information and Computer Sciences, University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Google Research New York(谷歌纽约研究院)
在本文中,我们提出了分布式广义聚类算法,可以处理大规模的数据,尽管分散或不可靠的机器在多台机器。我们提出了一种新的数据分配方案,使我们能够获得整个数据的全局信息,即使当一些机器无法响应分配的本地计算的结果。分配方案导致分布式算法,具有良好的近似保证各种聚类和降维问题。
2020-02-20 cs.DC cs.DS cs.IT
Privacy-Preserving Distributed Clustering for Electrical Load Profiling
电力负荷分析支持零售商和配电网络运营商更好地了解消费者的消费行为。然而,传统的用于负载分析的聚类方法是集中式的,并且需要访问所有智能电表数据,从而导致消费者和零售商的隐私问题。为了解决这个问题,我们提出了一个隐私保护的分布式集群框架的负载分析,通过开发一个隐私保护的加速平均共识(PP-AAC)算法证明收敛。使用所提出的框架,我们修改了几个常用的聚类方法,包括k-均值,模糊C-均值,高斯混合模型,提供隐私保护的分布式聚类方法。通过这种方式,可以仅通过本地计算和相邻数据所有者之间的信息共享来执行负载分析,而不会牺牲隐私。同时,与传统的集中式聚类方法相比,每个数据所有者消耗的计算时间显著减少。分析了所提出的隐私保护分布式聚类框架的隐私性和复杂性。使用真实世界的爱尔兰住宅数据集验证了所提出的框架和建议的PP-AAC算法的正确性,效率,有效性和隐私保护功能。
2020-02-26 cs.DC cs.SY eess.SP
A Generic Distributed Clustering Framework for Massive Data
在本文中,我们介绍了一种新的通用分布式聚类框架(GEEK)超越$k$ -均值聚类处理大量的数据。为了处理不同的数据类型,GEEK首先将原始特征空间中的数据转换为统一格式的桶,然后设计了一种新的基于相似桶的播种方法(SILK)来确定初始种子。与$k$ -means++及其变体等最先进的播种方法相比,SILK可以根据相似桶中共享数据对象的接近程度自动识别初始种子的数量,而不是预先指定$k$。因此,其时间复杂度与$k$无关。有了这些精心选择的初始种子,GEEK只需要一次数据分配就可以得到最终的聚类。我们在分布式CPU-GPU平台上实现了GEEK,用于大规模集群。我们评估了GEEK的性能超过五个大规模的现实生活中的数据集,并表明,GEEK可以处理不同类型的海量数据,是(甚至优于)许多国家的最先进的定制的基于GPU的方法,特别是在大$k$值。
2021-06-19 cs.DB cs.DC
Hierarchical Aggregation Approach for Distributed clustering of spatial datasets
Insight Centre for Data Analytics School of Computer Science University College Dublin(都柏林大学学院计算机科学学院数据洞察中心);School of Computer Science University College Dublin(都柏林大学学院计算机科学学院)
在本文中,我们提出了一种新的方法,分布式聚类的空间数据集,基于创新和有效的聚合技术。这种分布式方法包括两个阶段:1)局部聚类阶段,其中每个节点对其本地数据执行聚类,2)聚合阶段,其中局部聚类被聚合以产生全局聚类。这种方法的特点是,本地集群表示在一个简单而有效的方式。聚合阶段的设计使得最终的聚类是紧凑和准确的,而整个过程在响应时间和内存分配方面都是有效的。我们使用不同的数据集评估了这种方法,并将其与众所周知的聚类技术进行了比较。实验结果表明,该方法是非常有前途的,并优于所有这些算法
2018-02-01 cs.DB cs.DC cs.LG
Distributed Graph Clustering using Modularity and Map Equation
我们研究大规模的分布式图聚类。给定一个无向图,我们的目标是将节点划分为称为簇的不相交集合。一个簇应该包含许多内部边,同时稀疏地连接到其他簇。在社交网络的上下文中,集群可以是一组朋友。模块化和映射方程是这种内密外疏原则的形式化描述。我们提出了两个版本的一个简单的分布式算法来优化这两个措施。它们基于Thrill,这是一个分布式大数据处理框架,实现了扩展的MapReduce模型。这两种度量的算法DSLM-Mod和DSLM-Map仅略有不同。使它们适应类似的质量测量是直截了当的。我们对真实世界的图和合成基准图进行了广泛的实验研究,这些图具有高达680亿条边。我们的算法是快速的,同时检测聚类类似于其他顺序,并行和分布式聚类算法检测。与分布式GossipMap算法相比,DSLM-Map算法需要更少的内存,速度快一个数量级,质量更好。
2018-06-07 cs.DC cs.DS physics.soc-ph
A Distributed Block Chebyshev-Davidson Algorithm for Parallel Spectral Clustering
Purdue University(普渡大学);University of Maryland(马里兰大学)
本文提出一种分布式块Chebyshev-Davidson算法,通过解析谱估计解决大规模前特征值问题,并实现具有$\sqrt{p}$加速比的并行计算,显著提升了谱聚类在大数据环境下的效率与可扩展性。
2024-01-05 cs.DC cs.LG cs.NA
$k$-Center Clustering in Distributed Models
本文研究了底层度量为图最短路径度量的$k$-中心问题,在LOCAL、CONGEST和CLIQUE三种标准分布式模型中提出了常数因子近似算法与下界,并给出了双准则近似设置的硬度结果。
2024-07-25 cs.DC cs.DS
A Practical Algorithm for Distributed Clustering and Outlier Detection
Indiana University Bloomington(印第安纳大学伯明顿分校)
我们研究了经典的$k$ -均值/中值聚类,这是无监督学习中的基本问题,在数据被划分为多个站点的设置中,并且允许我们通过将其标记为离群值来丢弃一小部分数据。我们提出了一个简单的方法,基于构建小摘要的原始数据集。该方法具有时间和通信效率高、逼近性好、能有效识别全局离群点等优点。据我们所知,这是第一个实用的算法与理论保证分布式聚类离群值。我们在真实数据和合成数据上的实验表明,我们的算法在几乎所有指标上都明显优于所有基线算法。
2018-10-11 cs.AI cs.DC cs.DS
Distributed Graph Clustering by Load Balancing
图聚类是一个基本的计算问题,在算法设计、机器学习、数据采掘和社交网络分析中有许多应用。在过去的几十年里,研究人员提出了许多图聚类的算法设计方法。然而,这些方法大多是基于复杂的谱技术或凸优化,并不能直接应用于聚类许多网络发生在实践中,其信息往往是收集在不同的网站。设计一个简单的分布式聚类算法是一个很有意义的问题,在处理大数据集方面有着广泛的应用。在本文中,我们提出了一个简单的分布式算法图聚类:对于广泛的一类图,其特征在于由一个强大的集群结构,我们的算法完成在一个多对数轮数,并恢复分区的图形接近最佳分区。我们的算法的主要组成部分是随机匹配模型的负载均衡,这是一个基本的协议在分布式计算,并已在过去的20年中得到广泛的研究应用。因此,我们的结果突出了图聚类和负载均衡之间的内在和有趣的连接。在技术层面上,我们提出了一个纯粹的代数结果表征的早期行为的负载均衡进程的图形展示集群结构。我们相信,这一结果可以进一步应用于分析其他八卦过程,如谣言传播和平均过程。
2019-04-11 cs.DC cs.DS cs.LG
Gravitational Clustering: A Simple, Robust and Adaptive Approach for Distributed Networks
无线传感器网络的分布式信号处理使得不同的设备能够协作解决不同的信号处理任务。关键的第一步是回答这个问题:谁观察什么?最近,已经提出了几种分布式算法,这些算法在提取源特定的特征之后,将信号/对象标记问题框架在聚类分析方面,然而,聚类的数量被假设为已知的。我们提出了一种新的方法,称为引力聚类(GC),自适应地估计的一组特征向量的基础上随时间变化的集群数量。其关键思想是利用质量单元之间引力的物理原理:流入特征向量被认为是特征空间中固定位置的质量单元,在每个时刻围绕其注入移动质量单元。集群枚举利用了移动质量单元上的最高吸引力由具有高密度特征向量的区域施加的事实,即,引力星团通过扩散-自适应机制在相邻节点之间共享估计,实现了协作和分布式簇枚举。数值实验进行了有关的鲁棒性对野值,收敛性和计算复杂性。在分布式协作多视角摄像机网络中的应用说明了对现实世界问题的适用性。
2017-08-31 cs.CV cs.DC
Fast communication-efficient spectral clustering over distributed data
University of Massachusetts, Dartmouth(马萨诸塞大学达特茅斯分校);Lovelace Respiratory Research Institute(洛夫莱斯呼吸研究所)
由于集群计算和大数据技术的进步,在过去的几十年里,人们对分布式计算的兴趣激增。现有的分布式算法通常假设{ \it所有的数据已经在一个地方},并划分数据和征服多台机器上。然而,越来越多的情况是数据位于多个分布式站点,并且人们希望以低通信开销计算所有数据。对于谱聚类,我们提出了一个新的框架,使其计算在这样的分布式数据,与“最小”的通信,而在计算的主要加速。与非分布式设置相比,精度损失可以忽略不计。我们的方法允许在数据所在的地方进行本地并行计算,从而将数据的分布式特性转化为一种祝福;当数据均匀分布在各个站点时,加速是最显著的。在合成和大型UC Irvine数据集上的实验表明,我们的方法几乎没有损失准确性,而在两个分布式站点的各种设置下,速度提高了约2倍。由于传输的数据不需要以其原始形式,我们的框架很容易解决隐私问题的数据共享在分布式计算。
2019-05-05 cs.DC cs.LG stat.ML
Hearing the clusters in a graph: A distributed algorithm
我们提出了一种新的分布式聚类算法。该算法恢复从谱聚类得到的解决方案,而不需要昂贵的特征值/向量计算。我们证明,通过传播波通过图形,局部快速傅立叶变换产生的拉普拉斯矩阵的每个特征向量的局部分量,从而提供聚类信息。对于大型图,所提出的算法是数量级的速度比基于随机游走的方法。我们证明了所提出的算法的等价性谱聚类和收敛速度。我们证明了使用这种分散的聚类算法在社会图中的社区发现,加速传感器网络中的分布式估计和分布式多代理搜索策略的有效计算的好处。
2011-04-18 cs.DC cs.DM physics.comp-ph
Robust Communication-Optimal Distributed Clustering Algorithms
Rutgers University(罗格斯大学);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们研究了$k$ -中位数和$k$ -均值聚类问题时,数据分布在许多服务器上,可以包含离群值。虽然在最坏情况下对这些问题做了很多工作,但我们专注于通过超越最坏情况分析的视角获得更好的理解。我们的主要动机如下:对于许多应用程序,如聚类蛋白质的功能或聚类社区的社会网络中,有一些未知的目标聚类,并希望运行$k$ -中位数或$k$ -均值算法将产生聚类,这是接近匹配的目标聚类。最坏情况的结果可以保证恒定因子近似于最佳$k$ -中位数或$k$ -均值目标值,但不能接近目标聚类。我们的第一个结果是一个分布式算法,它返回一个接近最优的聚类假设一个自然的概念的稳定性,即近似稳定性[Balcan et. 2013年],即使当数据的恒定部分是离群值时。通信复杂性为$\tilde O(sk+z)$,其中$s$是机器的数量,$k$是集群的数量,$z$是离群值的数量。接下来,我们表明,即使在输入满足各种非最坏情况假设的情况下,这种通信量也无法得到改善。我们给出了一个匹配的$Ω(sk+z)$下界的通信都需要近似的最佳$k$ -手段或$k$ -中值成本的任何常数,并返回一个聚类,是接近目标聚类的汉明距离。即使当数据满足近似稳定性或其他常见的稳定性概念,并且集群大小是平衡的时,这些下限也保持不变。因此,$Ω(sk+z)$是一个通信瓶颈,即使对于实际实例也是如此。
2019-03-06 cs.DC cs.DS cs.LG
Distributed clustering in partially overlapping feature spaces
University of Padova(帕多瓦大学)
针对特征部分重叠的私有数据集分布式聚类问题,提出两种算法:协作更新全局质心的联邦算法和共享本地统计参数以生成合成代理数据集的单次算法,并在三个公开数据集上验证了其性能。
2025-10-10 cs.DC cs.DS cs.LG
Acdmcp: An adaptive and completely distributed multi-hop clustering protocol for wireless sensor networks
分簇是一种非常流行的网络结构化技术,主要解决大规模无线传感器网络的可扩展性问题。此外,它已被证明可以提高能量效率并延长网络的寿命。所建议的协议大多基于其聚类标准的节点的一些分组属性。大多数现有的多跳分簇协议在很大程度上忽略的一个重要属性是节点之间的通信链路的可靠性。在本文中,我们提出了一种自适应和完全分布式的多跳聚类协议,它将不同的概念的通信链路的可靠性,除其他外,到一个复合指标,并使用它在聚类过程的所有阶段。距离选出的簇头一跳的节点到特定簇的加入标准不仅考虑其与簇头的通信链路的可靠性,还考虑其他重要属性。位于簇头通信范围之外的节点通过现有的簇成员利用节点和簇头之间的链路可靠性的端到端概念以及其他重要属性而过渡性地成为簇成员。类似地,使用包括与汇聚节点的端到端通信链路可靠性以及其他重要节点和网络属性的一组标准来选择集群间通信路径。我们认为,将链路的可靠性在聚类过程的所有阶段的结果在一个有效的多跳通信层次结构,有可能降低网络中的总通信成本。
2010-09-09 cs.DC cs.NI
A Distributed and Approximated Nearest Neighbors Algorithm for an Efficient Large Scale Mean Shift Clustering
University of Paris 13(巴黎第十三大学)
在本文中,我们的目标是一类的模式聚类方法,其中集群的概率密度函数,生成的数据的局部模式的定义。最著名的模态聚类方法是k均值聚类。Mean Shift聚类是k-means聚类的一种推广,它计算任意形状的聚类,定义为密度梯度上升路径创建的局部模式的吸引盆。尽管Mean Shift方法具有潜力,但对于无监督学习来说,它是一种计算成本很高的方法。因此,我们介绍了两个贡献,旨在提供一个线性的时间复杂度的聚类算法,而不是二次时间复杂度的精确均值漂移聚类。首先,我们提出了一个可扩展的过程来近似密度梯度上升。其次,我们提出了可扩展的集群标记技术。这两个命题都是基于局部敏感哈希(LSH)来近似最近的邻居。这两种技术可用于中等大小的数据集。此外,我们表明,使用我们提出的密度梯度上升的近似值作为其他聚类方法的预处理步骤,也可以提高专用的分类指标。对于后者,提出了一个为Spark/Scala生态系统编写的分布式实现。对于所有这些考虑聚类方法,我们提出了实验结果,说明他们的标签的准确性和解决具体问题的潜力。
2019-02-11 cs.AI cs.DC cs.LG
On Dynamic Distributed Computing
本文首次表明,分布式计算可以在高度动态和敌对的环境中既可靠又高效。更具体地说,我们将展示如何维护集群的大小$O(\log N)$,每个包含三分之二以上的诚实节点的概率高,在一个系统中,其大小可以不同\textit{polynomially}相对于其初始大小。此外,每个节点的到达或离开引起的通信成本是关于$N$,系统的最大规模的多对数。我们的聚类可以实现,尽管存在拜占庭对手控制的一部分$\bad \leq \{1}{3}-ε$的节点,对于一些固定的常数$ε> 0$,独立于$N$。到目前为止,这样的聚类只能用于大小可以不断变化的系统,并且不清楚多项式方差是否完全可能。
2013-05-15 cs.DC
Distributed $k$-Clustering for Data with Heavy Noise
University at Buffalo(布法罗大学)
在本文中,我们考虑$k$ -中心/中位数/均值聚类与离群值问题(或$(k, z)$ -中心/中位数/均值问题)在分布式设置。大多数以前的分布式算法的通信成本线性依赖于$z$,离群值的数量。最近,Guha等人通过考虑输出具有$2z$离群值的解的双准则近似算法克服了这种依赖性问题。对于其中$z$较大的情况,考虑到数据收集过程可能是昂贵的,由算法丢弃的额外的$z$离群值可能太大。在本文中,我们改进的离群值的数量,以最好的可能$(1+ε)z$,同时保持$O(1)$ -近似比和独立的通信成本$z$。我们考虑的问题包括$(k, z)$ -中心问题,和$(k, z)$ -中位数/均值问题的欧几里德度量。实施我们的算法$(k, z)$ -中心表明,它优于许多以前的算法,无论是在通信成本和质量的输出解决方案。
2018-11-29 cs.DC cs.DS cs.LG
Distributed Bayesian Matrix Decomposition for Big Data Mining and Clustering
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Animal Evolution and Genetics, Chinese Academy of Sciences(中国科学院动物进化与遗传前沿交叉卓越创新中心);Yunnan University(云南大学)
矩阵分解是从现代应用程序生成的大数据中发现知识的基本工具之一。然而,在单个机器中使用这种方法处理非常大的数据仍然是低效或不可行的。此外,大数据通常是分布式收集和存储在不同的机器上。因此,这样的数据通常带有强的非均匀噪声。分布式矩阵分解是大数据分析中的一个重要而有用的方法。这样的方法应该可以很好地扩展,对异构噪声进行建模,并解决分布式系统中的通信问题。为此,我们提出了一个分布式贝叶斯矩阵分解模型(DBMD)的大数据采掘和聚类。具体来说,我们采用三种策略来实现分布式计算:1)加速梯度下降,2)交替方向乘子法(ADMM),3)统计推断。我们研究了这些算法的理论收敛性。为了解决噪声的异质性,我们提出了一个最佳的插件加权平均,减少了估计的方差。合成实验验证了我们的理论结果,真实世界的实验表明,我们的算法可以很好地扩展到大数据,并实现优于或竞争性能相比,其他分布式方法。
2020-02-10 cs.CV cs.DC cs.LG
Low-Distortion Clustering in Bounded Growth Graphs
本文研究有界增长图中的低失真聚类,证明一般图的 $\Omega((\log n)^{1/3})$ 下界,并为一致有界独立图设计恒失真分布式聚类算法及匹配下界。
2025-06-11 cs.DC cs.DS
A Unified Framework for Center-based Clustering of Distributed Data
Carnegie Mellon University(卡内基梅隆大学);Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院);Faculty of Sciences, University of Novi Sad(诺维萨德大学理学院)
针对分布式数据聚类问题,提出统一框架DGC-$\boldsymbol{\f}_ρ$,支持多种损失函数,通过邻居通信实现中心估计收敛,理论验证其不动点性质,实验表明性能优异且可用于异常检测等场景。
2024-11-25 cs.DC cs.LG cs.MA
Lowest-ID with Adaptive ID Reassignment: A Novel Mobile Ad-Hoc Networks Clustering Algorithm
分簇是一种很有前途的方法,建立层次结构和简化路由过程中的移动ad-hoc网络环境。分簇的主要目标是确定合适的节点代表,即簇头(CH),以存储路由和拓扑信息,并最大限度地提高集群的稳定性。传统的分簇算法建议CH选举完全基于节点ID或位置信息,并涉及频繁的广播控制分组,即使当网络拓扑结构保持不变。最近的工作考虑到额外的指标(如能源和流动性)和优化初始聚类。然而,在许多情况下(例如,在相对静态的拓扑结构),重新聚类过程几乎从来没有调用,因此,最初当选CH很快达到电池耗尽。在这里,我们介绍了一个有效的分布式聚类算法,使用移动性和能量指标,以提供稳定的集群形成。CH最初是根据时间和成本效益最低ID方法选出的。在分簇维护阶段,根据节点的移动性和能量状态重新分配节点ID,确保具有低移动性和足够能量供应的节点被分配低ID,因此被选为CH。我们的算法还减少了控制流量,因为广播周期是根据节点的移动模式进行调整:我们采用不频繁的广播相对静态的网络拓扑结构,并增加广播频率为高度移动的网络配置。仿真结果表明,该算法的能量消耗在网络节点间均匀分布,信令开销显著降低。
2011-09-19 cs.DC
Distributed Kernel K-Means for Large Scale Clustering
根据有效的度量和/或向量空间表示对样本进行聚类是具有广泛应用的具有挑战性的无监督学习任务。在几种聚类算法中,k-means及其内核化版本仍然拥有广泛的受众,因为它们的概念简单和有效性。然而,k-means的内核化版本的系统应用受到其固有的平方缩放内存中的样本数量的阻碍。在这方面的贡献,我们设计了一个近似的策略,以最大限度地减少内核k-means成本函数,其中精度和速度之间的权衡是自动统治可用的系统内存。此外,我们定义了一个ad-hoc的并行化方案,非常适合混合的cpu-gpu国家的最先进的并行架构。我们证明了有效性的近似方案和标准UCI数据集和分子动力学(MD)数据在计算化学领域的并行化方法。在这个应用领域,聚类可以在通过马尔可夫状态模型定量估计动力学速率或定性给出所研究的潜在化学现象的与人类兼容的总结方面发挥关键作用。出于这些原因,我们选择它作为一个有价值的现实世界的应用场景。
2017-10-09 cs.DC stat.ML
Parallel K-Medoids++ Spatial Clustering Algorithm Based on MapReduce
聚类分析在空间数据采掘中受到了广泛的关注。随着地理空间信息技术的飞速发展,空间信息数据的规模呈指数级增长,这使得对海量空间数据进行聚类成为一项具有挑战性的任务。为了提高大规模数据空间聚类的效率,许多研究者提出了几种高效的并行聚类算法。针对海量空间数据的聚类问题,提出了一种基于MapReduce的K-Medoids++空间聚类算法。将初始化算法与MapReduce框架相结合,减少了迭代次数。在不同数据集和不同节点数上进行的对比实验表明,提出的K-Medoids空间聚类算法比传统的K-Medoids空间聚类算法具有更高的效率,并且在商用硬件上处理海量空间数据时具有良好的可扩展性。
2016-08-24 cs.DC
An Efficient Parallel Data Clustering Algorithm Using Isoperimetric Number of Trees
我们提出了一个并行的基于图的数据聚类算法,使用CUDA GPU,基于最小生成树的最小等周标准的精确聚类。我们还提供了我们的算法与其他相关算法的比较性能分析,这表明该并行算法在准确性和速度方面优于其他竞争算法。
2017-02-15 cs.DC
HetEng: An Improved Distributed Energy Efficient Clustering Scheme for Heterogeneous IoT Networks
在电池供电的网络中,由于在某些情况下难以充电或更换节点,因此网络寿命一直是一个具有挑战性的问题。聚类方法是一种很有前途的方法来解决这一挑战,并通过有效地分配集群中的节点之间的任务,延长生命周期。本研究旨在使用能量感知聚类方法来改善异构物联网设备的能耗。在异构IoT网络中,节点(即,电池供电的IoT设备)可以具有各种能量简档和通信能力。现有的分簇算法大多忽略了节点间能量容量的异质性,并假设它们具有相同的能量水平。在这项工作中,我们提出了HetEng,簇头(CH)的选择过程,扩展了现有的聚类算法,名为智能BEEM。为此,我们提出了一种统计方法,该方法通过根据节点的真实能量水平(焦耳)不断改变节点之间的CH角色,在网络拓扑中的高能量节点之间分配能量消耗。实验结果表明,与SmartBEEM相比,HetEng使存活节点增加了6.6%,节点之间的剩余能量提高了3%。此外,我们的方法平均减少了1%的总迭代次数。
2021-06-29 cs.DC cs.DM cs.NI
Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning
University of Maryland(马里兰大学);Imperial College London(伦敦帝国学院)
分布式实现对于加速大规模机器学习应用至关重要。分布式梯度下降(GD)通过将数据集分布在多个工作者之间来广泛地用于并行化学习任务。分布式同步GD中每次迭代完成时间的一个重要性能瓶颈是$straggling$工作者。编码分布式计算技术最近被引入,以减轻离散和加速GD迭代分配冗余计算的工人。在本文中,我们考虑梯度编码(GC),并提出了一种新的动态GC计划,它分配冗余数据的工人获得的灵活性,动态选择一组可能的代码取决于过去的离散行为。特别是,我们认为GC与聚类,并调节在每个集群中的掉队者的数量,在每次迭代时动态地形成集群,因此,该计划被称为$GC$ $with$ $dynamic$ $clustering$(GC-DC)。在时间相关的离散行为下,GC-DC随着时间的推移从适应离散行为中获益,使得在每次迭代时,GC-DC旨在基于过去的离散行为尽可能均匀地跨集群分布离散者。对于同构和异构的工人模型,我们数值表明,GC-DC提供了显着的改善,在平均每次迭代完成时间没有增加的通信负载相比,原来的GC计划。
2021-03-01 cs.DC cs.IT cs.LG
Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers
College of Computer Science, Sichuan University(四川大学计算机学院);School of Statistics and Data Science, Nankai University(南开大学统计与数据科学学院);School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(瑞典皇家理工学院电气工程与计算机科学学院);School of Robotics, Hunan University(湖南大学机器人学院)
本文利用带离群点的1-中心和1-均值聚类提出近最优弹性聚合规则,并设计两阶段弹性聚合框架,在图像分类实验中显著优于已有方法。
2024-03-31 cs.DC cs.LG
Distributed Linear Model Clustering over Networks: A Tree-Based Fused-Lasso ADMM Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑通过聚合邻居的信息以及识别网络中每个节点的子组成员来提高模型估计效率。提出了一种基于树的$l_1$惩罚算法,以节省计算和通信开销。设计了一种分散广义交替方向乘子算法,用于并行求解目标函数。理论性质推导,以保证模型的一致性和算法收敛。数值实验结果表明,该方法在估计精度、计算速度和通信开销等方面都有较好的性能。
2019-05-28 cs.DC cs.LG cs.NI
Distributed User Clustering and Resource Allocation for Imperfect NOMA in Heterogeneous Networks
在本文中,我们提出了一个分布式集群形成(CF)和资源分配(RA)的异构网络中的非理想非正交多址接入(NOMA)计划的框架。基础NOMA方案的不完善是由于接收机灵敏度和来自非理想连续干扰消除(SIC)的干扰残留,其通常由分数误差因子(FEF)表征。我们的分析结果首先表明,几个因素对可实现的NOMA增益有显着影响。然后,我们调查NOMA集群大小作为FEF水平,集群带宽,和服务质量(QoS)的用户设备(UE)的需求的函数的基本限制。之后,通过考虑可行的簇大小和UE的信道增益差异来开发分簇算法。最后,我们开发了一个分布式阿尔法公平RA框架,阿尔法管理之间的权衡最大吞吐量和比例公平目标。基于导出的闭合形式的最优功率电平,所提出的分布式解决方案迭代地更新带宽、簇和UE的传输功率。数值结果表明,所提出的解决方案提供了更高的频谱和能量效率比传统上采用的基本NOMA集群大小为2。我们还表明,一个不完美的NOMA不能总是提供更好的性能比正交多址在某些条件下。最后,我们的数值研究表明,NOMA增益最大化下行链路/上行链路去耦(DUDe)UE关联。
2019-07-05 cs.DC cs.IT cs.NI
Self-Organized Stigmergic Document Maps: Environment as a Mechanism for Context Learning
社会性昆虫社会,更具体地说是蚂蚁群体,是分布式系统,尽管它们的个体简单,但呈现出高度结构化的社会组织。由于这种组织,蚁群可以完成复杂的任务,在某些情况下,这些任务超过了单个蚂蚁的能力。对蚁群行为及其自组织能力的研究对知识检索/管理和决策支持系统科学很有意义,因为它提供了分布式自适应组织模型,这些模型有助于解决困难的优化、分类和分布式控制问题。在目前的工作中,我们概述了一些模型来自真实的蚂蚁的观察,强调的角色所扮演的stigmergy作为分布式通信范式,我们提出了一种新的策略来解决无监督聚类以及数据检索问题。本蚂蚁聚类系统(ACLUSTER)不仅避免了基于短期记忆的策略,以及使用几种人工蚂蚁类型(使用不同的速度),目前在一些最近的方法。此外,据我们所知,这也是第一次应用蚂蚁系统的文本文档聚类。关键词:群体智能,蚂蚁系统,无监督聚类,数据检索,数据采掘,分布式计算,文档地图,文本文档聚类。
2004-12-17 cs.AI cs.DC
Distributed Inference on Mobile Edge and Cloud: A Data-Cartography based Clustering Approach
IIT Bombay(印度理工学院孟买分校)
本文提出基于数据制图的分布式推理方法\our{},通过评估样本复杂度在移动、边缘和云端分配计算任务,在GLUE数据集上降低超43%推理成本且准确率下降不足0.5%。
2024-12-21 cs.AI cs.DC
The Simulation Model Partitioning Problem: an Adaptive Solution Based on Self-Clustering (Extended Version)
本文主要研究并行和分布式仿真中的划分问题.这意味着将仿真模型分解为许多组件,并在执行单元上正确分配它们。提出了一种基于自聚类的自适应解决方案,该方案同时考虑了通信减少和计算负载平衡。所提出的机制的实施进行了测试,使用一个仿真模型,这是具有挑战性的结构和动态性。已经考虑了仿真模型和执行环境的各种配置。使用参考成本模型分析所获得的性能结果。结果表明,该方法是有前途的,它可以减少在并行和分布式体系结构的仿真执行时间。
2016-11-04 cs.DC cs.MA cs.PF
Distributed algorithms to determine eigenvectors of matrices on spatially distributed networks
网络上矩阵的特征向量已被用于理解谱聚类和顶点的影响。对于具有小测地线宽度的矩阵,我们在这封信中提出了一个分布式迭代算法,以找到与其给定的特征值相关联的特征向量。我们还考虑在空间分布式网络中的顶点/代理级别上实现所提出的算法。
2020-11-23 cs.DC cs.IT math.IT
Gradient Coding with Clustering and Multi-message Communication
Imperial College London(帝国理工学院);University of Maryland, College Park(马里兰大学帕克分校)
梯度下降(GD)方法通常用于机器学习问题中以迭代方式优化模型的参数。对于具有大量数据集的问题,计算被分布到许多并行计算服务器(即,以加快GD迭代。虽然分布式计算可以显著提高计算速度,但每次迭代的完成时间受到最慢的离散工人的限制。编码的分布式计算可以通过引入冗余计算来减轻离散工作者;然而,现有的编码计算方案主要是针对持久离散者而设计的,并且离散工作者处的部分计算被丢弃,导致计算容量的浪费。在本文中,我们提出了一种新的梯度编码(GC)计划,它允许多个编码计算,从每个工人传达到主每次迭代。我们数值计算表明,建议GC与多消息通信(MMC)与聚类提供了显着的改善,在平均完成时间(每次迭代),最小或没有增加的通信负载。
2019-03-05 cs.DC cs.IT cs.LG
Distributed Inference on Mobile Edge and Cloud: An Early Exit based Clustering Approach
IIT Bombay(印度理工学院孟买分校)
针对深度神经网络在资源受限设备部署难的问题,提出基于早退出策略的分布式推理方法DIMEE,兼顾卸载成本与准确率,在GLUE数据集上实现推理成本大降且准确率损失极小。
2024-10-06 cs.AI cs.DC cs.LG
Federated Incomplete Multi-View Clustering with Heterogeneous Graph Neural Networks
Guangdong University of Foreign Studies(广东外语外贸大学);School of Engineering, Westlake University(西湖大学工程学院);East China University of Science and Technology(华东理工大学)
针对联邦场景下多视图数据的特征异构与视图不完整问题,提出FIM-GNNs框架,通过客户端异构图自编码器、服务器重叠特征聚合及全局伪标签引导提升聚类性能。
2024-06-12 cs.DC cs.LG
Mobility and Energy Conscious Clustering Protocol for Wireless Networks
在本文中,我们提出了一个分布式分簇协议的移动无线传感器网络。绝大多数的研究在无线传感器网络的聚类和路由算法假设一个静态的网络,因此在高度移动的传感器网络,这是一个方面解决的情况下,呈现效率低下。MECP是一种能量有效的,移动性感知协议,并利用传感器节点的运动和剩余能量的属性在网络形成的信息。它还提供了一种用于容错的机制,以减少在簇头故障的情况下的分组数据丢失。
2015-10-24 cs.DC cs.NI
Introvert Clustering for Distributed Graph Algorithms
National University of Singapore(新加坡国立大学);University of Copenhagen(哥本哈根大学)
本文提出内向聚类图分解原语,生成分层网络分解,并应用于LOCAL模型,实现列表边着色和局部平衡割的确定性算法,时间复杂度为$\widetilde O(\log^2 n)$。
2026-09-10 cs.DC cs.DS
Revisiting Large Scale Distributed Machine Learning
School of Computer Communication Sciences(计算机与通信科学学院)
如今,随着配备各种传感器的智能手机和其他便携式小工具的普及,数据无处不在,机器学习的重点已经从能够从小训练样本中进行推断转移到处理大规模高维数据。在个人医疗保健应用等领域,分布式机器学习是一个很有前途的研究方向,既可以扩展学习算法,也可以处理在不同位置产生的数据。本报告全面概述了分布式机器学习的最新算法,包括监督学习和无监督学习,从简单的线性逻辑回归到图形模型和聚类。我们为大多数类别提出了未来的发展方向,具体到潜在的个人医疗保健应用。考虑到这一点,报告重点关注在严格的客户端-服务器架构模型的特定情况下如何确保安全性和低通信开销。作为特定的方向,我们提供了一个详尽的介绍经验聚类算法,k-窗口,并提出了一个异步分布式机器学习算法,将规模以及计算成本低,易于实现。
2015-07-06 cs.DC cs.LG
Gradient Coding with Dynamic Clustering for Straggler Mitigation
University of Maryland(马里兰大学);Imperial College London(帝国理工学院)
在分布式同步梯度下降(GD)中,每次迭代完成时间的主要性能瓶颈是最慢的\textit{straggling}工作者。为了加快GD迭代中存在的掉队者,编码分布式计算技术的实现分配冗余计算的工人。在本文中,我们提出了一种新的梯度编码(GC)计划,利用动态聚类,表示为GC-DC,以加快梯度计算。在时间相关的离散行为下,GC-DC的目标是根据前一次迭代中的离散行为来调节每个集群中离散工人的数量。我们数值计算表明,GC-DC提供了显着的改善,在平均完成时间(每次迭代)的通信负载没有增加相比,原来的GC计划。
2020-11-03 cs.DC cs.IT cs.LG