Distributed Spatial Data Clustering as a New Approach for Big Data Analysis
本文提出了一种新的大数据采掘和分析方法。这种新方法适用于分布式数据集,并处理数据聚类分析任务。该方法由两个主要阶段组成,第一阶段对本地数据执行聚类算法,假设数据集已经分布在系统处理节点之间。第二阶段处理局部聚类聚合以生成全局聚类。这种方法不仅可以在每个处理节点上并行生成局部聚类,而且可以在不需要事先知道聚类数目的情况下生成全局聚类,而这是许多划分聚类算法所需要的。在这项研究中,这种方法被应用于空间数据集。所提出的聚合阶段是非常有效的,并且不涉及处理节点之间的大量数据的交换。实验结果表明,该方法具有超线性的加速性能,可扩展性好,且不受通信类型的影响,可以充分利用MapReduce等最新的编程模型。
2018-03-01 cs.DC
Lightweight Trustworthy Distributed Clustering
University of Luxembourg(卢森堡大学);University Paris-Saclay(巴黎萨克雷大学)
针对边缘计算系统中节点数据可信性与协作处理的挑战,提出轻量级全分布式k-means聚类算法,通过加法秘密共享的分布式平均方法更新簇中心,保障跨节点数据的准确性与可信性。
2025-04-14 cs.AI cs.DC
Distributed Bayesian Matrix Decomposition for Big Data Mining and Clustering
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Animal Evolution and Genetics, Chinese Academy of Sciences(中国科学院动物进化与遗传前沿交叉卓越创新中心);Yunnan University(云南大学)
矩阵分解是从现代应用程序生成的大数据中发现知识的基本工具之一。然而,在单个机器中使用这种方法处理非常大的数据仍然是低效或不可行的。此外,大数据通常是分布式收集和存储在不同的机器上。因此,这样的数据通常带有强的非均匀噪声。分布式矩阵分解是大数据分析中的一个重要而有用的方法。这样的方法应该可以很好地扩展,对异构噪声进行建模,并解决分布式系统中的通信问题。为此,我们提出了一个分布式贝叶斯矩阵分解模型(DBMD)的大数据采掘和聚类。具体来说,我们采用三种策略来实现分布式计算:1)加速梯度下降,2)交替方向乘子法(ADMM),3)统计推断。我们研究了这些算法的理论收敛性。为了解决噪声的异质性,我们提出了一个最佳的插件加权平均,减少了估计的方差。合成实验验证了我们的理论结果,真实世界的实验表明,我们的算法可以很好地扩展到大数据,并实现优于或竞争性能相比,其他分布式方法。
2020-02-10 cs.CV cs.DC cs.LG
Reliable Distributed Clustering with Redundant Data Assignment
College of Information and Computer Sciences, University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Google Research New York(谷歌纽约研究院)
在本文中,我们提出了分布式广义聚类算法,可以处理大规模的数据,尽管分散或不可靠的机器在多台机器。我们提出了一种新的数据分配方案,使我们能够获得整个数据的全局信息,即使当一些机器无法响应分配的本地计算的结果。分配方案导致分布式算法,具有良好的近似保证各种聚类和降维问题。
2020-02-20 cs.DC cs.DS cs.IT
Distributed Silhouette Algorithm: Evaluating Clustering on Big Data
Politecnico di Torino(都灵理工大学)
在大数据时代,每种算法需要具备的关键特征是能够在分布式环境中高效并行运行。不幸的是,用于评估聚类质量的流行的Silhouette度量不具有此属性,并且相对于输入数据集的大小具有二次计算复杂性。出于这个原因,它的执行在大数据场景中受到了阻碍,在这些场景中,必须以其他方式评估聚类。为了填补这一空白,在本文中,我们介绍了第一个算法,计算的轮廓度量线性复杂度,可以很容易地在分布式环境中并行执行。它的实现在Apache Spark ML库中免费提供。
2023-03-24 cs.AI cs.DC cs.DS
Privacy-Preserving Distributed Clustering for Electrical Load Profiling
电力负荷分析支持零售商和配电网络运营商更好地了解消费者的消费行为。然而,传统的用于负载分析的聚类方法是集中式的,并且需要访问所有智能电表数据,从而导致消费者和零售商的隐私问题。为了解决这个问题,我们提出了一个隐私保护的分布式集群框架的负载分析,通过开发一个隐私保护的加速平均共识(PP-AAC)算法证明收敛。使用所提出的框架,我们修改了几个常用的聚类方法,包括k-均值,模糊C-均值,高斯混合模型,提供隐私保护的分布式聚类方法。通过这种方式,可以仅通过本地计算和相邻数据所有者之间的信息共享来执行负载分析,而不会牺牲隐私。同时,与传统的集中式聚类方法相比,每个数据所有者消耗的计算时间显著减少。分析了所提出的隐私保护分布式聚类框架的隐私性和复杂性。使用真实世界的爱尔兰住宅数据集验证了所提出的框架和建议的PP-AAC算法的正确性,效率,有效性和隐私保护功能。
2020-02-26 cs.DC cs.SY eess.SP
Distributed Lance-William Clustering Algorithm
一个重要的工具是将数据最佳聚类到有用的类别中。在许多应用中,将相似的对象划分为较少数量的簇是重要的。其中包括搜索引擎、学习成绩监测、生物学和无线网络。我们首先讨论一些聚类方法。我们提出了一个并行算法的有效聚类的对象成组的基础上,他们彼此的相似性。输入由一个n × n距离矩阵组成。该矩阵将具有每对对象的距离排名。数字越小,两个对象越相似。我们利用并行处理器来计算这n个项目的层次聚类基于这个矩阵。我们的方法的另一个优点是大的n乘n矩阵的分布。我们已经实现了我们的算法,并发现它是可扩展的处理速度和存储方面。
2017-09-20 cs.DC
Scalable Distributed Subtrajectory Clustering
轨迹聚类是从移动数据中发现知识的重要操作。特别是在当今,以高效和可扩展的方式对大规模生产的数据(如移动轨迹)执行高级分析操作的需求势在必行。然而,发现完整轨迹的集群可能会忽略只存在于其生命周期的一小部分的重要模式。在本文中,我们解决了问题的分布式子轨迹聚类在一个有效的和高度可扩展的方式。这个问题是具有挑战性的,因为要聚类的子轨迹是事先不知道的,但他们需要动态地发现相邻的子轨迹在空间和时间。为了实现这一目标,我们将原问题分解为三个子问题,即子轨迹连接,轨迹分割和聚类以及离群点检测,并利用MapReduce编程模型以分布式方式处理每个问题。我们的解决方案的效率和有效性的实验证明了一个合成的和两个大的真实数据集从海洋和城市领域,并通过比较与两个国家的最先进的子轨迹聚类算法。
2019-06-18 cs.DB cs.DC
Hierarchical Aggregation Approach for Distributed clustering of spatial datasets
Insight Centre for Data Analytics School of Computer Science University College Dublin(都柏林大学学院计算机科学学院数据洞察中心);School of Computer Science University College Dublin(都柏林大学学院计算机科学学院)
在本文中,我们提出了一种新的方法,分布式聚类的空间数据集,基于创新和有效的聚合技术。这种分布式方法包括两个阶段:1)局部聚类阶段,其中每个节点对其本地数据执行聚类,2)聚合阶段,其中局部聚类被聚合以产生全局聚类。这种方法的特点是,本地集群表示在一个简单而有效的方式。聚合阶段的设计使得最终的聚类是紧凑和准确的,而整个过程在响应时间和内存分配方面都是有效的。我们使用不同的数据集评估了这种方法,并将其与众所周知的聚类技术进行了比较。实验结果表明,该方法是非常有前途的,并优于所有这些算法
2018-02-01 cs.DB cs.DC cs.LG
Optimizing Compilation for Distributed Quantum Computing via Clustering and Annealing
University of Pittsburgh(匹兹堡大学);University of California, Santa Cruz(加州大学圣克鲁斯分校)
本文提出通过聚类和退火优化分布式量子计算编译,有效降低目标值,提升异构量子系统的映射效率。
2025-08-21 cs.DC quant-ph
A Distributed Block Chebyshev-Davidson Algorithm for Parallel Spectral Clustering
Purdue University(普渡大学);University of Maryland(马里兰大学)
本文提出一种分布式块Chebyshev-Davidson算法,通过解析谱估计解决大规模前特征值问题,并实现具有$\sqrt{p}$加速比的并行计算,显著提升了谱聚类在大数据环境下的效率与可扩展性。
2024-01-05 cs.DC cs.LG cs.NA
Probability Based Adaptive Invoked Clustering Algorithm in MANETs
移动自组织网络(MANET)是一种通过无线链路连接的移动设备的自配置网络。为了实现稳定的簇,维护簇的簇头应该是稳定的,簇重选的开销最小。本文提出了一种基于概率的自适应加权聚类算法(PAIWCA),该算法将节点的电池电量作为成簇的考虑因素,利用节点的簇头概率选举稳定的簇头,从而提高了簇的稳定性。在这个模拟研究中进行了比较,以衡量我们的算法的性能与最大加权独立集(MWIS)的簇形成的数量,网络的连通性,优势集更新,整个网络的吞吐量和数据包投递率。实验结果表明,该算法的性能优于现有算法,并且对不同的网络环境具有较好的适应性。
2011-02-09 cs.DC
Distributed Graph Clustering using Modularity and Map Equation
我们研究大规模的分布式图聚类。给定一个无向图,我们的目标是将节点划分为称为簇的不相交集合。一个簇应该包含许多内部边,同时稀疏地连接到其他簇。在社交网络的上下文中,集群可以是一组朋友。模块化和映射方程是这种内密外疏原则的形式化描述。我们提出了两个版本的一个简单的分布式算法来优化这两个措施。它们基于Thrill,这是一个分布式大数据处理框架,实现了扩展的MapReduce模型。这两种度量的算法DSLM-Mod和DSLM-Map仅略有不同。使它们适应类似的质量测量是直截了当的。我们对真实世界的图和合成基准图进行了广泛的实验研究,这些图具有高达680亿条边。我们的算法是快速的,同时检测聚类类似于其他顺序,并行和分布式聚类算法检测。与分布式GossipMap算法相比,DSLM-Map算法需要更少的内存,速度快一个数量级,质量更好。
2018-06-07 cs.DC cs.DS physics.soc-ph
A Generic Distributed Clustering Framework for Massive Data
在本文中,我们介绍了一种新的通用分布式聚类框架(GEEK)超越$k$ -均值聚类处理大量的数据。为了处理不同的数据类型,GEEK首先将原始特征空间中的数据转换为统一格式的桶,然后设计了一种新的基于相似桶的播种方法(SILK)来确定初始种子。与$k$ -means++及其变体等最先进的播种方法相比,SILK可以根据相似桶中共享数据对象的接近程度自动识别初始种子的数量,而不是预先指定$k$。因此,其时间复杂度与$k$无关。有了这些精心选择的初始种子,GEEK只需要一次数据分配就可以得到最终的聚类。我们在分布式CPU-GPU平台上实现了GEEK,用于大规模集群。我们评估了GEEK的性能超过五个大规模的现实生活中的数据集,并表明,GEEK可以处理不同类型的海量数据,是(甚至优于)许多国家的最先进的定制的基于GPU的方法,特别是在大$k$值。
2021-06-19 cs.DB cs.DC
A Practical Algorithm for Distributed Clustering and Outlier Detection
Indiana University Bloomington(印第安纳大学伯明顿分校)
我们研究了经典的$k$ -均值/中值聚类,这是无监督学习中的基本问题,在数据被划分为多个站点的设置中,并且允许我们通过将其标记为离群值来丢弃一小部分数据。我们提出了一个简单的方法,基于构建小摘要的原始数据集。该方法具有时间和通信效率高、逼近性好、能有效识别全局离群点等优点。据我们所知,这是第一个实用的算法与理论保证分布式聚类离群值。我们在真实数据和合成数据上的实验表明,我们的算法在几乎所有指标上都明显优于所有基线算法。
2018-10-11 cs.AI cs.DC cs.DS
Hearing the clusters in a graph: A distributed algorithm
我们提出了一种新的分布式聚类算法。该算法恢复从谱聚类得到的解决方案,而不需要昂贵的特征值/向量计算。我们证明,通过传播波通过图形,局部快速傅立叶变换产生的拉普拉斯矩阵的每个特征向量的局部分量,从而提供聚类信息。对于大型图,所提出的算法是数量级的速度比基于随机游走的方法。我们证明了所提出的算法的等价性谱聚类和收敛速度。我们证明了使用这种分散的聚类算法在社会图中的社区发现,加速传感器网络中的分布式估计和分布式多代理搜索策略的有效计算的好处。
2011-04-18 cs.DC cs.DM physics.comp-ph
Distributed Graph Clustering by Load Balancing
图聚类是一个基本的计算问题,在算法设计、机器学习、数据采掘和社交网络分析中有许多应用。在过去的几十年里,研究人员提出了许多图聚类的算法设计方法。然而,这些方法大多是基于复杂的谱技术或凸优化,并不能直接应用于聚类许多网络发生在实践中,其信息往往是收集在不同的网站。设计一个简单的分布式聚类算法是一个很有意义的问题,在处理大数据集方面有着广泛的应用。在本文中,我们提出了一个简单的分布式算法图聚类:对于广泛的一类图,其特征在于由一个强大的集群结构,我们的算法完成在一个多对数轮数,并恢复分区的图形接近最佳分区。我们的算法的主要组成部分是随机匹配模型的负载均衡,这是一个基本的协议在分布式计算,并已在过去的20年中得到广泛的研究应用。因此,我们的结果突出了图聚类和负载均衡之间的内在和有趣的连接。在技术层面上,我们提出了一个纯粹的代数结果表征的早期行为的负载均衡进程的图形展示集群结构。我们相信,这一结果可以进一步应用于分析其他八卦过程,如谣言传播和平均过程。
2019-04-11 cs.DC cs.DS cs.LG
$k$-Center Clustering in Distributed Models
本文研究了底层度量为图最短路径度量的$k$-中心问题,在LOCAL、CONGEST和CLIQUE三种标准分布式模型中提出了常数因子近似算法与下界,并给出了双准则近似设置的硬度结果。
2024-07-25 cs.DC cs.DS
Fast communication-efficient spectral clustering over distributed data
University of Massachusetts, Dartmouth(马萨诸塞大学达特茅斯分校);Lovelace Respiratory Research Institute(洛夫莱斯呼吸研究所)
由于集群计算和大数据技术的进步,在过去的几十年里,人们对分布式计算的兴趣激增。现有的分布式算法通常假设{ \it所有的数据已经在一个地方},并划分数据和征服多台机器上。然而,越来越多的情况是数据位于多个分布式站点,并且人们希望以低通信开销计算所有数据。对于谱聚类,我们提出了一个新的框架,使其计算在这样的分布式数据,与“最小”的通信,而在计算的主要加速。与非分布式设置相比,精度损失可以忽略不计。我们的方法允许在数据所在的地方进行本地并行计算,从而将数据的分布式特性转化为一种祝福;当数据均匀分布在各个站点时,加速是最显著的。在合成和大型UC Irvine数据集上的实验表明,我们的方法几乎没有损失准确性,而在两个分布式站点的各种设置下,速度提高了约2倍。由于传输的数据不需要以其原始形式,我们的框架很容易解决隐私问题的数据共享在分布式计算。
2019-05-05 cs.DC cs.LG stat.ML
A Distributed Clustering Algorithm for Dynamic Networks
我们提出了一种算法,建立和维护集群在网络上的流动性。该算法是完全分散的,使所有不同的集群并发增长。该算法使用循环令牌,收集数据并根据随机行走遍历方案移动。他们的任务包括(i)使用它发现的节点创建一个集群,以及(ii)管理集群扩展;所有影响集群的决策都只由拥有令牌的节点做出。每个集群的大小保持高于$m$节点($m$是算法的参数)。所获得的聚类是局部最优的,在这个意义上,只有每个聚类的局部视图,它计算最大可能数量的聚类(\emph{ie},聚类的大小尽可能接近$m$)。该算法被设计为大规模网络的分散控制算法,并且具有移动性自适应性:经过一系列拓扑变化后,该算法收敛到聚类。这种重新计算只影响拓扑发生变化的簇中的节点以及相邻簇中的节点。
2010-11-12 cs.DC
Clustering of Mobile Ad Hoc Networks: An Adaptive Broadcast Period Approach
组织,可扩展性和路由已被确定为关键问题,阻碍移动自组织网络的可行性和商业成功。在不同的域之间的移动节点的集群已被提出作为一种有效的方法来解决这些问题。在这项工作中,我们引入了一个有效的分布式聚类算法,使用集群形成的位置和能量指标。我们提出的解决方案主要解决集群稳定性,可扩展性和能源效率问题。此外,与现有的主动分簇方法不同,我们的算法减轻了网络不必要的控制消息广播的负担,特别是对于相对静态的网络拓扑结构。这是通过根据移动节点的移动性模式调整广播周期来实现的。我们的算法对替代方法的效率,可扩展性和能力已通过仿真结果证明。
2011-09-19 cs.DC cs.DS
Robust Communication-Optimal Distributed Clustering Algorithms
Rutgers University(罗格斯大学);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们研究了$k$ -中位数和$k$ -均值聚类问题时,数据分布在许多服务器上,可以包含离群值。虽然在最坏情况下对这些问题做了很多工作,但我们专注于通过超越最坏情况分析的视角获得更好的理解。我们的主要动机如下:对于许多应用程序,如聚类蛋白质的功能或聚类社区的社会网络中,有一些未知的目标聚类,并希望运行$k$ -中位数或$k$ -均值算法将产生聚类,这是接近匹配的目标聚类。最坏情况的结果可以保证恒定因子近似于最佳$k$ -中位数或$k$ -均值目标值,但不能接近目标聚类。我们的第一个结果是一个分布式算法,它返回一个接近最优的聚类假设一个自然的概念的稳定性,即近似稳定性[Balcan et. 2013年],即使当数据的恒定部分是离群值时。通信复杂性为$\tilde O(sk+z)$,其中$s$是机器的数量,$k$是集群的数量,$z$是离群值的数量。接下来,我们表明,即使在输入满足各种非最坏情况假设的情况下,这种通信量也无法得到改善。我们给出了一个匹配的$Ω(sk+z)$下界的通信都需要近似的最佳$k$ -手段或$k$ -中值成本的任何常数,并返回一个聚类,是接近目标聚类的汉明距离。即使当数据满足近似稳定性或其他常见的稳定性概念,并且集群大小是平衡的时,这些下限也保持不变。因此,$Ω(sk+z)$是一个通信瓶颈,即使对于实际实例也是如此。
2019-03-06 cs.DC cs.DS cs.LG
Distributed clustering in partially overlapping feature spaces
University of Padova(帕多瓦大学)
针对特征部分重叠的私有数据集分布式聚类问题,提出两种算法:协作更新全局质心的联邦算法和共享本地统计参数以生成合成代理数据集的单次算法,并在三个公开数据集上验证了其性能。
2025-10-10 cs.DC cs.DS cs.LG
A Distributed and Approximated Nearest Neighbors Algorithm for an Efficient Large Scale Mean Shift Clustering
University of Paris 13(巴黎第十三大学)
在本文中,我们的目标是一类的模式聚类方法,其中集群的概率密度函数,生成的数据的局部模式的定义。最著名的模态聚类方法是k均值聚类。Mean Shift聚类是k-means聚类的一种推广,它计算任意形状的聚类,定义为密度梯度上升路径创建的局部模式的吸引盆。尽管Mean Shift方法具有潜力,但对于无监督学习来说,它是一种计算成本很高的方法。因此,我们介绍了两个贡献,旨在提供一个线性的时间复杂度的聚类算法,而不是二次时间复杂度的精确均值漂移聚类。首先,我们提出了一个可扩展的过程来近似密度梯度上升。其次,我们提出了可扩展的集群标记技术。这两个命题都是基于局部敏感哈希(LSH)来近似最近的邻居。这两种技术可用于中等大小的数据集。此外,我们表明,使用我们提出的密度梯度上升的近似值作为其他聚类方法的预处理步骤,也可以提高专用的分类指标。对于后者,提出了一个为Spark/Scala生态系统编写的分布式实现。对于所有这些考虑聚类方法,我们提出了实验结果,说明他们的标签的准确性和解决具体问题的潜力。
2019-02-11 cs.AI cs.DC cs.LG
The Simulation Model Partitioning Problem: an Adaptive Solution Based on Self-Clustering (Extended Version)
本文主要研究并行和分布式仿真中的划分问题.这意味着将仿真模型分解为许多组件,并在执行单元上正确分配它们。提出了一种基于自聚类的自适应解决方案,该方案同时考虑了通信减少和计算负载平衡。所提出的机制的实施进行了测试,使用一个仿真模型,这是具有挑战性的结构和动态性。已经考虑了仿真模型和执行环境的各种配置。使用参考成本模型分析所获得的性能结果。结果表明,该方法是有前途的,它可以减少在并行和分布式体系结构的仿真执行时间。
2016-11-04 cs.DC cs.MA cs.PF
Distributed $k$-Clustering for Data with Heavy Noise
University at Buffalo(布法罗大学)
在本文中,我们考虑$k$ -中心/中位数/均值聚类与离群值问题(或$(k, z)$ -中心/中位数/均值问题)在分布式设置。大多数以前的分布式算法的通信成本线性依赖于$z$,离群值的数量。最近,Guha等人通过考虑输出具有$2z$离群值的解的双准则近似算法克服了这种依赖性问题。对于其中$z$较大的情况,考虑到数据收集过程可能是昂贵的,由算法丢弃的额外的$z$离群值可能太大。在本文中,我们改进的离群值的数量,以最好的可能$(1+ε)z$,同时保持$O(1)$ -近似比和独立的通信成本$z$。我们考虑的问题包括$(k, z)$ -中心问题,和$(k, z)$ -中位数/均值问题的欧几里德度量。实施我们的算法$(k, z)$ -中心表明,它优于许多以前的算法,无论是在通信成本和质量的输出解决方案。
2018-11-29 cs.DC cs.DS cs.LG
Acdmcp: An adaptive and completely distributed multi-hop clustering protocol for wireless sensor networks
分簇是一种非常流行的网络结构化技术,主要解决大规模无线传感器网络的可扩展性问题。此外,它已被证明可以提高能量效率并延长网络的寿命。所建议的协议大多基于其聚类标准的节点的一些分组属性。大多数现有的多跳分簇协议在很大程度上忽略的一个重要属性是节点之间的通信链路的可靠性。在本文中,我们提出了一种自适应和完全分布式的多跳聚类协议,它将不同的概念的通信链路的可靠性,除其他外,到一个复合指标,并使用它在聚类过程的所有阶段。距离选出的簇头一跳的节点到特定簇的加入标准不仅考虑其与簇头的通信链路的可靠性,还考虑其他重要属性。位于簇头通信范围之外的节点通过现有的簇成员利用节点和簇头之间的链路可靠性的端到端概念以及其他重要属性而过渡性地成为簇成员。类似地,使用包括与汇聚节点的端到端通信链路可靠性以及其他重要节点和网络属性的一组标准来选择集群间通信路径。我们认为,将链路的可靠性在聚类过程的所有阶段的结果在一个有效的多跳通信层次结构,有可能降低网络中的总通信成本。
2010-09-09 cs.DC cs.NI
A Unified Framework for Center-based Clustering of Distributed Data
Carnegie Mellon University(卡内基梅隆大学);Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院);Faculty of Sciences, University of Novi Sad(诺维萨德大学理学院)
针对分布式数据聚类问题,提出统一框架DGC-$\boldsymbol{\f}_ρ$,支持多种损失函数,通过邻居通信实现中心估计收敛,理论验证其不动点性质,实验表明性能优异且可用于异常检测等场景。
2024-11-25 cs.DC cs.LG cs.MA
Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning
University of Maryland(马里兰大学);Imperial College London(伦敦帝国学院)
分布式实现对于加速大规模机器学习应用至关重要。分布式梯度下降(GD)通过将数据集分布在多个工作者之间来广泛地用于并行化学习任务。分布式同步GD中每次迭代完成时间的一个重要性能瓶颈是$straggling$工作者。编码分布式计算技术最近被引入,以减轻离散和加速GD迭代分配冗余计算的工人。在本文中,我们考虑梯度编码(GC),并提出了一种新的动态GC计划,它分配冗余数据的工人获得的灵活性,动态选择一组可能的代码取决于过去的离散行为。特别是,我们认为GC与聚类,并调节在每个集群中的掉队者的数量,在每次迭代时动态地形成集群,因此,该计划被称为$GC$ $with$ $dynamic$ $clustering$(GC-DC)。在时间相关的离散行为下,GC-DC随着时间的推移从适应离散行为中获益,使得在每次迭代时,GC-DC旨在基于过去的离散行为尽可能均匀地跨集群分布离散者。对于同构和异构的工人模型,我们数值表明,GC-DC提供了显着的改善,在平均每次迭代完成时间没有增加的通信负载相比,原来的GC计划。
2021-03-01 cs.DC cs.IT cs.LG
HetEng: An Improved Distributed Energy Efficient Clustering Scheme for Heterogeneous IoT Networks
在电池供电的网络中,由于在某些情况下难以充电或更换节点,因此网络寿命一直是一个具有挑战性的问题。聚类方法是一种很有前途的方法来解决这一挑战,并通过有效地分配集群中的节点之间的任务,延长生命周期。本研究旨在使用能量感知聚类方法来改善异构物联网设备的能耗。在异构IoT网络中,节点(即,电池供电的IoT设备)可以具有各种能量简档和通信能力。现有的分簇算法大多忽略了节点间能量容量的异质性,并假设它们具有相同的能量水平。在这项工作中,我们提出了HetEng,簇头(CH)的选择过程,扩展了现有的聚类算法,名为智能BEEM。为此,我们提出了一种统计方法,该方法通过根据节点的真实能量水平(焦耳)不断改变节点之间的CH角色,在网络拓扑中的高能量节点之间分配能量消耗。实验结果表明,与SmartBEEM相比,HetEng使存活节点增加了6.6%,节点之间的剩余能量提高了3%。此外,我们的方法平均减少了1%的总迭代次数。
2021-06-29 cs.DC cs.DM cs.NI
Distributed Linear Model Clustering over Networks: A Tree-Based Fused-Lasso ADMM Approach
Iowa State University(爱荷华州立大学)
在这项工作中,我们考虑通过聚合邻居的信息以及识别网络中每个节点的子组成员来提高模型估计效率。提出了一种基于树的$l_1$惩罚算法,以节省计算和通信开销。设计了一种分散广义交替方向乘子算法,用于并行求解目标函数。理论性质推导,以保证模型的一致性和算法收敛。数值实验结果表明,该方法在估计精度、计算速度和通信开销等方面都有较好的性能。
2019-05-28 cs.DC cs.LG cs.NI
Distributed and Adaptive Fast Multipole Method In Three Dimensions
我们开发了一个通用的分布式实现的自适应快速多极子方法在三维空间。我们依赖于一种平衡的自适应空间离散化,它支持高度透明和完全分布式的实现。复杂性分析表明,有利的标度特性和数值实验上多达512个核心和10亿个源点验证他们。控制算法的参数进行了深入的实验,对输入参数的性能响应意味着整体实现非常适合自动调谐。
2020-02-12 cs.DC cs.DS cs.NA