Analysis of Distributed Algorithms for Big-data
本文研究面向大数据的并行与分布式算法及文件系统，在OpenMP本地层面和全局分布式层面评估可扩展性，并通过多种开源应用与系统开展性能分析。
2024-04-09 cs.DC
Distributed Silhouette Algorithm: Evaluating Clustering on Big Data
Politecnico di Torino（都灵理工大学）
在大数据时代，每种算法需要具备的关键特征是能够在分布式环境中高效并行运行。不幸的是，用于评估聚类质量的流行的Silhouette度量不具有此属性，并且相对于输入数据集的大小具有二次计算复杂性。出于这个原因，它的执行在大数据场景中受到了阻碍，在这些场景中，必须以其他方式评估聚类。为了填补这一空白，在本文中，我们介绍了第一个算法，计算的轮廓度量线性复杂度，可以很容易地在分布式环境中并行执行。它的实现在Apache Spark ML库中免费提供。
2023-03-24 cs.AI cs.DC cs.DS
Superior Parallel Big Data Clustering through Competitive Stochastic Sample Size Optimization in Big-means
Satbayev University（萨塔巴耶夫大学）；Institute of Information and Computational Technologies（信息与计算技术研究所）；University of Washington（华盛顿大学）
本文提出一种改进的Big-means K-means聚类算法，通过并行处理、随机采样与工作节点间竞争性样本量动态优化，在保证聚类质量的同时提升大数据场景下的计算效率与可扩展性。
2024-03-27 cs.AI cs.DC cs.IR
ClustCrypt: Privacy-Preserving Clustering of Unstructured Big Data in the Cloud
存储在云中的大数据的安全性和机密性是许多组织采用云服务的重要考虑因素。解决这些问题的一种常见方法是客户端加密，其中数据在存储到云中之前在客户端机器上加密。然而，在云中加密数据限制了数据聚类的能力，这是许多数据分析应用程序（如搜索系统）的关键部分。为了克服这一局限性，本文提出了一种名为ClustCrypt的方法，用于在云中对加密的非结构化大数据进行基于主题的高效聚类。ClustCrypt根据加密数据的统计特征动态估计最佳簇数。它还提供了加密数据的聚类方法。我们在一个安全的基于云的语义搜索系统（S3BD）的上下文中部署ClustCrypt。在三个数据集上评估ClustCrypt的实验结果表明，集群的一致性平均提高了60%。ClustCrypt还将搜索时间开销减少了78%，并将搜索结果的准确性提高了35%。
2019-08-14 cs.CR cs.DC
Distributed Lance-William Clustering Algorithm
一个重要的工具是将数据最佳聚类到有用的类别中。在许多应用中，将相似的对象划分为较少数量的簇是重要的。其中包括搜索引擎、学习成绩监测、生物学和无线网络。我们首先讨论一些聚类方法。我们提出了一个并行算法的有效聚类的对象成组的基础上，他们彼此的相似性。输入由一个n × n距离矩阵组成。该矩阵将具有每对对象的距离排名。数字越小，两个对象越相似。我们利用并行处理器来计算这n个项目的层次聚类基于这个矩阵。我们的方法的另一个优点是大的n乘n矩阵的分布。我们已经实现了我们的算法，并发现它是可扩展的处理速度和存储方面。
2017-09-20 cs.DC
Polynomial Lower Bound for Distributed Graph Coloring in a Weak LOCAL Model
我们展示了一个$Ω\big(Δ^{\frac{1}{3}-\fracη{3}}\big)$下界上的任何确定性的分布式$\mathcal{O}\big(Δ^{1+η}\big)$ -图着色算法的\LOCAL \模型的弱变体的运行时间。特别地，给定网络图\mbox{$G=(V,E)$}，在弱\LOCAL \模型中，节点在同步轮中通信，并且它们可以使用无界局部计算。我们假设节点没有标识符，而是从初始有效顶点着色开始计算。节点可以向其邻居\textbf{broadcast} \textbf{unbounded}大小的\textbf{single}消息，并接收由其邻居发送给它的\textbf{set of messages}。也就是说，如果节点$v\in V$的两个邻居向$v$发送相同的消息，则$v$将仅接收该消息一次;在没有任何进一步的知识的情况下，$v$无法知道所接收的消息是由仅一个还是多于一个邻居发送的。邻域图在分布式着色算法的下界证明中是必不可少的，例如，\cite{linial92,Kuhn2006On}。我们的证明分析了递归结构的邻域图的相应模型设计一个$Ω\big(Δ^{\frac{1}{3}-\fracη{3}}\big)$下界的运行时任何确定性的分布式$\mathcal{O}\big(Δ^{1+η}\big)$图着色算法。此外，我们希望证明技术提高了对邻域图的理解，并且它将…
2016-09-14 cs.DC
Cutting the Unnecessary Long Tail: Cost-Effective Big Data Clustering in the Cloud
Beijing Institute of Technology（北京理工大学）；Swinburne University of Technology（斯威本科技大学）；Royal Melbourne Institute of Technology（皇家墨尔本理工大学）
聚类大数据通常需要巨大的计算资源，其中云计算无疑是有前途的解决方案之一。然而，如果不能正确管理，云中的计算成本可能会出乎意料地高。长尾现象在大数据聚类领域被广泛观察到，这表明大部分时间往往消耗在聚类过程的中后期。在这项研究中，我们试图削减不必要的长尾在聚类过程中，以达到足够令人满意的精度在尽可能低的计算成本。提出了一种新的方法，以实现具有成本效益的大数据聚类在云中。通过使用采样数据训练回归模型，我们可以使广泛使用的k-means和EM（Expectation-Maximization）算法在获得所需精度时自动停止在早期点。在四个流行的数据集上进行了实验，结果表明，k-means和EM算法都可以实现高成本效益的云与我们提出的方法。例如，在使用效率更高的k-means算法的案例研究中，我们发现实现99%的准确度仅需要实现100%准确度所需的计算成本的47.71%-71.14%，而效率较低的EM算法需要16.69%-32.04%的计算成本。从这个角度来看，在美国土地使用分类的例子中，我们的方法可以为政府在每次使用中节省高达94，687.49美元。
2019-09-22 cs.DC cs.LG
A Simple Deterministic Distributed Low-Diameter Clustering
我们给出了一个简单的局部过程，使无向图中的节点形成不相邻的簇，这些簇（1）具有至多一个多对数直径，（2）包含至少一半的顶点。用于计算强直径网络分解的高效确定性分布式聚类算法和其他关键工具紧随其后。总的来说，我们的过程是计算这些基本对象的直接和大大简化的方式。
2022-10-21 cs.DC cs.DS
Distributed and Deep Vertical Federated Learning with Big Data
近年来，数据通常分布在多个组织中，而数据安全变得越来越重要。联邦学习（Federated Learning，FL）使多个参与者能够在不交换原始数据的情况下协同训练模型，引起了越来越多的关注。基于数据的分布，FL可以在三个场景中实现，即，水平、垂直和混合。在本文中，我们提出了分布式机器学习技术与垂直FL相结合，并提出了分布式垂直联邦学习（DVFL）的方法。DVFL方法在每一方内部采用完全分布式的架构，以加快训练过程。此外，我们利用同态加密（HE）来保护数据免受诚实但好奇的参与者的攻击。我们在大规模集群环境和云环境中进行了广泛的实验，以显示我们提出的方法的效率和可扩展性。实验表明，我们的方法具有良好的可扩展性和显着的效率优势（高达6.8倍，单台服务器和15.1倍，多台服务器的训练时间）与基线框架相比。
2023-03-10 cs.DC
Distributed-Memory Parallel Algorithms for Counting and Listing Triangles in Big Graphs
在许多应用领域中出现的大图（网络）对图分析师提出了重大挑战，因为这些图增长到数十亿个节点和边，并且大到无法容纳在主内存中。求图中三角形个数是图挖掘和分析中的一个重要问题。在本文中，我们提出了两个有效的基于MPI的分布式内存并行算法计数三角形的大图。第一个算法采用重叠分区和有效的负载均衡计划，以提供一个非常快的并行算法。该算法可以很好地扩展到具有数十亿个节点的网络，并且可以在16分钟内计算出具有100亿条边的网络中三角形的确切数量。第二种算法将网络划分为不重叠的分区，从而产生空间有效的算法。我们在人工和真实世界的网络上的结果表明，该算法显着节省空间。我们还提出了一种新的方法，大大降低了通信成本，导致算法的空间和运行时高效的算法。此外，我们演示了我们的算法可以用来列出所有的三角形在一个图形和计算聚类系数的节点。我们的算法也可以适用于并行近似算法使用边缘稀疏化方法。
2017-06-16 cs.DC
Unveiling Crowdfunding Futures: Analyzing Campaign Outcomes through Distributed Models and Big Data Perspectives
本研究利用分布式机器学习模型分析基于奖励的众筹活动数据，揭示其中的模式与趋势，帮助企业优化众筹策略、提升融资效能并理解众筹生态的经济动态。
2024-02-21 cs.DC
Performance of Distributed File Systems on Cloud Computing Environment: An Evaluation for Small-File Problem
针对分布式文件系统在小文件及复杂机器学习场景下的性能问题，提出结合高性能计算、大数据与共享存储的架构，并通过实验验证其适用性。
2023-12-29 cs.DC
Communication-Efficient and Exact Clustering Distributed Streaming Data
一个广泛使用的方法来聚类一个单一的数据流是两个阶段的方法，其中在线阶段创建和维护微集群，而离线阶段从微集群生成宏集群。我们使用这种方法，提出了一个分布式框架聚类流数据。我们提出的框架由基本过程组成：一个协调器-站点过程和许多远程站点过程。远程站点进程可以直接与协调器进程通信，但不能与其他远程站点进程通信。每个远程站点进程从其本地数据流中生成并维护表示簇信息摘要的微簇。远程站点通过串行化技术将本地微聚类发送给协调器，或者协调器调用远程方法从远程站点获取本地微聚类。协调器接收到来自远程站点的所有局部微聚类后，通过宏聚类方法生成全局聚类。我们的理论和实证结果表明，我们的分布式框架产生的全局聚类是类似的底层集中式算法在同一数据集上产生的聚类。通过使用局部微聚类方法，我们的框架实现了高可扩展性和通信效率。
2012-09-19 cs.DB cs.DC
Parallel Correlation Clustering on Big Graphs
给定项目之间的相似性图，相关聚类（CC）将相似的项目分组在一起，不相似的项目分开。最流行的CC算法之一是KwikCluster：一种连续聚类顶点邻域并获得3-近似比的算法。不幸的是，KwikCluster在实践中需要大量的聚类轮数，这是大型图的潜在瓶颈。我们介绍C4和WILDER！，并行相关聚类的两个算法，运行在一个多对数轮数，并实现近线性加速比，证明。C4使用并发控制来增强并行聚类过程的可串行性，并保证3-近似比。疯狂的！是一个无协调的算法，放弃了更好的缩放的好处的一致性，这导致了一个可证明的3近似比小的损失。我们为这两种算法提供了广泛的实验结果，在聚类精度和运行时间方面，我们都优于最先进的算法。我们表明，我们的算法可以在32个核心上在5秒内集群十亿边图，同时实现15倍的加速比。
2015-07-20 cs.DC cs.DS stat.ML
A Distributed Clustering Algorithm for Dynamic Networks
我们提出了一种算法，建立和维护集群在网络上的流动性。该算法是完全分散的，使所有不同的集群并发增长。该算法使用循环令牌，收集数据并根据随机行走遍历方案移动。他们的任务包括（i）使用它发现的节点创建一个集群，以及（ii）管理集群扩展;所有影响集群的决策都只由拥有令牌的节点做出。每个集群的大小保持高于$m$节点（$m$是算法的参数）。所获得的聚类是局部最优的，在这个意义上，只有每个聚类的局部视图，它计算最大可能数量的聚类（\emph{ie}，聚类的大小尽可能接近$m$）。该算法被设计为大规模网络的分散控制算法，并且具有移动性自适应性：经过一系列拓扑变化后，该算法收敛到聚类。这种重新计算只影响拓扑发生变化的簇中的节点以及相邻簇中的节点。
2010-11-12 cs.DC
Distributed Bayesian Matrix Decomposition for Big Data Mining and Clustering
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Animal Evolution and Genetics, Chinese Academy of Sciences（中国科学院动物进化与遗传前沿交叉卓越创新中心）；Yunnan University（云南大学）
矩阵分解是从现代应用程序生成的大数据中发现知识的基本工具之一。然而，在单个机器中使用这种方法处理非常大的数据仍然是低效或不可行的。此外，大数据通常是分布式收集和存储在不同的机器上。因此，这样的数据通常带有强的非均匀噪声。分布式矩阵分解是大数据分析中的一个重要而有用的方法。这样的方法应该可以很好地扩展，对异构噪声进行建模，并解决分布式系统中的通信问题。为此，我们提出了一个分布式贝叶斯矩阵分解模型（DBMD）的大数据采掘和聚类。具体来说，我们采用三种策略来实现分布式计算：1）加速梯度下降，2）交替方向乘子法（ADMM），3）统计推断。我们研究了这些算法的理论收敛性。为了解决噪声的异质性，我们提出了一个最佳的插件加权平均，减少了估计的方差。合成实验验证了我们的理论结果，真实世界的实验表明，我们的算法可以很好地扩展到大数据，并实现优于或竞争性能相比，其他分布式方法。
2020-02-10 cs.CV cs.DC cs.LG
Autonomic Intrusion Response in Distributed Computing using Big Data
我们介绍了一种基于行为异常和潜在威胁的分类，理解和预测，发布建议，并采取行动来解决突出问题的入侵检测方法。我们的工作旨在通过分析操作过程中生成的大型数据集，在混合分布式计算环境中自动识别和响应网络安全威胁的过程中寻求实用的解决方案。云计算和边缘计算作为商业和社会解决方案的技术的使用增长推动了我们的发展。技术组合和复杂的操作使这些环境成为劫持、中间人、拒绝服务、网络钓鱼等攻击的目标。自主入侵响应系统实现了数据分析和上下文感知推荐系统的创新模型，以响应攻击和自我修复。我们介绍了一个概念验证的实现，并根据基于公共云和私有云的实验场景的数据集进行评估。结果表明，响应效率和扩展到大环境的潜力显着提高。
2018-11-13 cs.DC
Using Multi-Core HW/SW Co-design Architecture for Accelerating K-means Clustering Algorithm
对所需数据集进行分类和聚类的能力是从数据中构建知识的重要部分。然而，随着输入数据的大小和维度的增加，这种聚类算法的运行时间预计将超线性增长，这使得它在处理大数据时成为一个巨大的挑战。K均值聚类是许多大数据应用的重要工具，包括数据采掘、预测分析、预测研究和机器学习。然而，由于大数据的大尺寸（体积）及其数据点的大维度，即使是简单的k均值聚类的应用也可能变得非常耗时和资源需求。特别是当需要快速和模块化的数据集分析流程时。在本文中，我们证明了使用基于二进制kd-树结构的两级过滤算法能够减少大数据集的K-均值算法的收敛时间。基于二进制kd-树结构的两级过滤算法使SW进化为基于目标FPGA中可用核的数量和可用逻辑的大小自然地将分类划分为较小的数据集。与传统的纯软件解决方案相比，这种基于多核FPGA架构的两级结构的经验结果提供了330倍的速度提升。
2018-07-09 cs.AR cs.DC
Distributed k-Means and k-Median Clustering on General Topologies
Georgia Institute of Technology（佐治亚理工学院）
本文提供了两个流行的中心为基础的目标，k-median和k-means分布式聚类的新算法。这些算法具有可证明的保证，并改善了现有方法的通信复杂性。遵循\cite{har2004coresets}聚类的经典方法，我们将寻找低成本聚类的问题归结为寻找小规模核心集的问题。我们提供了一个分布式的方法来构建一个全球coreset，提高了以前的方法，通过降低通信复杂性，并在一般的通信拓扑结构。在大规模数据集上的实验结果表明，该方法优于其他基于核集的分布式聚类算法。
2020-01-25 cs.DC cs.LG stat.ML
Distributed Graph Clustering and Sparsification
图聚类是一个基本的计算问题，在算法设计、机器学习、数据采掘和社交网络分析中有许多应用。在过去的几十年里，研究人员提出了许多图聚类的算法设计方法。然而，大多数这些方法是基于复杂的谱技术或凸优化，并不能直接应用于聚类许多网络发生在实践中，其信息往往是在不同的网站上收集。设计一个简单的分布式聚类算法是一个很有意义的问题，在处理大数据集方面有着广泛的应用。在本文中，我们提出了一个简单的分布式算法图聚类：对于广泛的一类图，其特征在于由一个强大的集群结构，我们的算法完成在一个多对数轮数，并恢复分区的图形接近最佳。我们的算法背后的主要组成部分之一是一个采样方案，给定一个密集的图作为输入，产生一个稀疏的子图，可证明保留的集群结构的输入。与以往的稀疏化算法，需要拉普拉斯求解器或涉及组合结构相比，该组件是易于实现的分布式方式，在实践中运行速度快。
2017-11-03 cs.DC cs.DS
Lightweight Trustworthy Distributed Clustering
University of Luxembourg（卢森堡大学）；University Paris-Saclay（巴黎萨克雷大学）
针对边缘计算系统中节点数据可信性与协作处理的挑战，提出轻量级全分布式k-means聚类算法，通过加法秘密共享的分布式平均方法更新簇中心，保障跨节点数据的准确性与可信性。
2025-04-14 cs.AI cs.DC
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
BigDL: A Distributed Deep Learning Framework for Big Data
Intel Corporation（英特尔公司）；Tencent Inc.（腾讯公司）；Sequoia Capital（红杉资本）；Alibaba Group（阿里巴巴集团）
本文介绍了BigDL（Apache Spark的分布式深度学习框架），该框架已被业界的各种用户用于在生产大数据平台上构建深度学习应用程序。它允许深度学习应用程序在Apache Hadoop/Spark集群上运行，以便直接处理生产数据，并作为端到端数据分析管道的一部分进行部署和管理。与现有的深度学习框架不同，BigDL直接在Spark的功能计算模型（具有写时复制和粗粒度操作）之上实现分布式数据并行训练。我们还分享了用户采用BigDL来应对挑战的真实经验和“战争故事”（即，如何轻松地为其生产数据构建端到端数据分析和深度学习管道）。
2019-11-05 cs.AI cs.DC cs.LG
Scalable Distributed Subtrajectory Clustering
轨迹聚类是从移动数据中发现知识的重要操作。特别是在当今，以高效和可扩展的方式对大规模生产的数据（如移动轨迹）执行高级分析操作的需求势在必行。然而，发现完整轨迹的集群可能会忽略只存在于其生命周期的一小部分的重要模式。在本文中，我们解决了问题的分布式子轨迹聚类在一个有效的和高度可扩展的方式。这个问题是具有挑战性的，因为要聚类的子轨迹是事先不知道的，但他们需要动态地发现相邻的子轨迹在空间和时间。为了实现这一目标，我们将原问题分解为三个子问题，即子轨迹连接，轨迹分割和聚类以及离群点检测，并利用MapReduce编程模型以分布式方式处理每个问题。我们的解决方案的效率和有效性的实验证明了一个合成的和两个大的真实数据集从海洋和城市领域，并通过比较与两个国家的最先进的子轨迹聚类算法。
2019-06-18 cs.DB cs.DC
Optimizing Compilation for Distributed Quantum Computing via Clustering and Annealing
University of Pittsburgh（匹兹堡大学）；University of California, Santa Cruz（加州大学圣克鲁斯分校）
本文提出通过聚类和退火优化分布式量子计算编译，有效降低目标值，提升异构量子系统的映射效率。
2025-08-21 cs.DC quant-ph
Reliable Distributed Clustering with Redundant Data Assignment
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Google Research New York（谷歌纽约研究院）
在本文中，我们提出了分布式广义聚类算法，可以处理大规模的数据，尽管分散或不可靠的机器在多台机器。我们提出了一种新的数据分配方案，使我们能够获得整个数据的全局信息，即使当一些机器无法响应分配的本地计算的结果。分配方案导致分布式算法，具有良好的近似保证各种聚类和降维问题。
2020-02-20 cs.DC cs.DS cs.IT
A Generic Distributed Clustering Framework for Massive Data
在本文中，我们介绍了一种新的通用分布式聚类框架（GEEK）超越$k$ -均值聚类处理大量的数据。为了处理不同的数据类型，GEEK首先将原始特征空间中的数据转换为统一格式的桶，然后设计了一种新的基于相似桶的播种方法（SILK）来确定初始种子。与$k$ -means++及其变体等最先进的播种方法相比，SILK可以根据相似桶中共享数据对象的接近程度自动识别初始种子的数量，而不是预先指定$k$。因此，其时间复杂度与$k$无关。有了这些精心选择的初始种子，GEEK只需要一次数据分配就可以得到最终的聚类。我们在分布式CPU-GPU平台上实现了GEEK，用于大规模集群。我们评估了GEEK的性能超过五个大规模的现实生活中的数据集，并表明，GEEK可以处理不同类型的海量数据，是（甚至优于）许多国家的最先进的定制的基于GPU的方法，特别是在大$k$值。
2021-06-19 cs.DB cs.DC
Privacy-Preserving Distributed Clustering for Electrical Load Profiling
电力负荷分析支持零售商和配电网络运营商更好地了解消费者的消费行为。然而，传统的用于负载分析的聚类方法是集中式的，并且需要访问所有智能电表数据，从而导致消费者和零售商的隐私问题。为了解决这个问题，我们提出了一个隐私保护的分布式集群框架的负载分析，通过开发一个隐私保护的加速平均共识（PP-AAC）算法证明收敛。使用所提出的框架，我们修改了几个常用的聚类方法，包括k-均值，模糊C-均值，高斯混合模型，提供隐私保护的分布式聚类方法。通过这种方式，可以仅通过本地计算和相邻数据所有者之间的信息共享来执行负载分析，而不会牺牲隐私。同时，与传统的集中式聚类方法相比，每个数据所有者消耗的计算时间显著减少。分析了所提出的隐私保护分布式聚类框架的隐私性和复杂性。使用真实世界的爱尔兰住宅数据集验证了所提出的框架和建议的PP-AAC算法的正确性，效率，有效性和隐私保护功能。
2020-02-26 cs.DC cs.SY eess.SP
Optimizing Distributed Networking with Big Data Scheduling and Cloud Computing
本文研究分布式网络中的大数据调度问题，结合云计算与软件定义网络分析数据管理的机遇和挑战，指出云环境大数据调度及 coflow 调度算法是未来网络优化重点。
2023-11-08 cs.DC cs.NI
Hierarchical Aggregation Approach for Distributed clustering of spatial datasets
Insight Centre for Data Analytics School of Computer Science University College Dublin（都柏林大学学院计算机科学学院数据洞察中心）；School of Computer Science University College Dublin（都柏林大学学院计算机科学学院）
在本文中，我们提出了一种新的方法，分布式聚类的空间数据集，基于创新和有效的聚合技术。这种分布式方法包括两个阶段：1）局部聚类阶段，其中每个节点对其本地数据执行聚类，2）聚合阶段，其中局部聚类被聚合以产生全局聚类。这种方法的特点是，本地集群表示在一个简单而有效的方式。聚合阶段的设计使得最终的聚类是紧凑和准确的，而整个过程在响应时间和内存分配方面都是有效的。我们使用不同的数据集评估了这种方法，并将其与众所周知的聚类技术进行了比较。实验结果表明，该方法是非常有前途的，并优于所有这些算法
2018-02-01 cs.DB cs.DC cs.LG
Distributed Graph Clustering using Modularity and Map Equation
我们研究大规模的分布式图聚类。给定一个无向图，我们的目标是将节点划分为称为簇的不相交集合。一个簇应该包含许多内部边，同时稀疏地连接到其他簇。在社交网络的上下文中，集群可以是一组朋友。模块化和映射方程是这种内密外疏原则的形式化描述。我们提出了两个版本的一个简单的分布式算法来优化这两个措施。它们基于Thrill，这是一个分布式大数据处理框架，实现了扩展的MapReduce模型。这两种度量的算法DSLM-Mod和DSLM-Map仅略有不同。使它们适应类似的质量测量是直截了当的。我们对真实世界的图和合成基准图进行了广泛的实验研究，这些图具有高达680亿条边。我们的算法是快速的，同时检测聚类类似于其他顺序，并行和分布式聚类算法检测。与分布式GossipMap算法相比，DSLM-Map算法需要更少的内存，速度快一个数量级，质量更好。
2018-06-07 cs.DC cs.DS physics.soc-ph
$k$-Center Clustering in Distributed Models
本文研究了底层度量为图最短路径度量的$k$-中心问题，在LOCAL、CONGEST和CLIQUE三种标准分布式模型中提出了常数因子近似算法与下界，并给出了双准则近似设置的硬度结果。
2024-07-25 cs.DC cs.DS
A Distributed Block Chebyshev-Davidson Algorithm for Parallel Spectral Clustering
Purdue University（普渡大学）；University of Maryland（马里兰大学）
本文提出一种分布式块Chebyshev-Davidson算法，通过解析谱估计解决大规模前特征值问题，并实现具有$\sqrt{p}$加速比的并行计算，显著提升了谱聚类在大数据环境下的效率与可扩展性。
2024-01-05 cs.DC cs.LG cs.NA
A Practical Algorithm for Distributed Clustering and Outlier Detection
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们研究了经典的$k$ -均值/中值聚类，这是无监督学习中的基本问题，在数据被划分为多个站点的设置中，并且允许我们通过将其标记为离群值来丢弃一小部分数据。我们提出了一个简单的方法，基于构建小摘要的原始数据集。该方法具有时间和通信效率高、逼近性好、能有效识别全局离群点等优点。据我们所知，这是第一个实用的算法与理论保证分布式聚类离群值。我们在真实数据和合成数据上的实验表明，我们的算法在几乎所有指标上都明显优于所有基线算法。
2018-10-11 cs.AI cs.DC cs.DS
Acceleration for Compressed Gradient Descent in Distributed and Federated Optimization
由于分布式和联邦学习问题中的高通信成本，依赖于通信消息压缩的方法变得越来越流行。虽然在其他情况下，性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少迭代次数，但没有结合梯度压缩和加速两者的优点的方法。在本文中，我们纠正这种情况，并提出了第一加速压缩梯度下降（ACGD）方法。在单机状态下，我们证明ACGD享有率$O\Big((1+ω)\sqrt{\frac{L}μ}\log \frac{1}ε\Big)$的$μ$ -强凸问题和$O\Big((1+ω)\sqrt{\frac{L}ε}\Big)$的凸问题，分别，其中$ω$是压缩参数。我们的研究结果改善了现有的非加速率$O\Big((1+ω)\frac{L}μ\log \frac{1}ε\Big)$和$O\Big((1+ω)\frac{L}ε\Big)$，分别，并恢复加速梯度下降的最佳速率作为一种特殊情况下，没有压缩（$ω=0$）时，应用。我们进一步提出了ACGD的分布式变体（称为ADANA），并证明了收敛速度$\widetilde{O}\Big(ω+\sqrt{\frac{L}μ}+\sqrt{\big(\fracω{n}+\sqrt{\fracω{n}}\big)\frac{ωL}μ}\Big)$，其中$n$是设备/工人的数量和$\widetilde{O}$隐藏对数因子$\log \frac{1}ε$。这改进了Mishchenk…
2020-06-25 cs.DC cs.LG math.OC
Distributed Big-Data Optimization via Block-wise Gradient Tracking
我们研究多智能体网络中的分布式大数据非凸优化问题。我们考虑光滑（可能）非凸函数之和的（约束）最小化，即，代理的和效用，加上一个凸（可能）非光滑正则化。我们感兴趣的是大数据问题，其中有大量的变量进行优化。如果通过标准的分布式优化算法处理，这些大规模的问题可能是棘手的，由于禁止在每个节点的本地计算和通信负担。我们提出了一种新的分布式解决方案的方法，在每次迭代，代理更新在一个不协调的方式只有一个块的整个决策向量。为了解决费用函数的非凸性问题，该方案采用连续凸近似（SCA）技术，并结合一种新的块扰动推和一致性协议，该协议有助于执行局部块平均操作和跟踪梯度平均值。证明了该非凸问题平稳解的渐近收敛。最后，数值结果表明所提出的算法的有效性和突出的块尺寸的通信开销和实际收敛速度的影响。
2018-08-31 cs.DC cs.MA math.OC
CANITA: Faster Rates for Distributed Convex Optimization with Communication Compression
KAUST（阿卜杜拉国王科技大学）
由于分布式和联邦学习中的高通信成本，依赖于压缩通信的方法变得越来越流行。此外，理论上和实际上性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少通信的数量（更快的收敛），例如，Nesterov的加速梯度下降（Nesterov，1983，2004）和Adam（Kingma和Ba，2014）。为了结合通信压缩和收敛加速的优点，我们提出了一种基于ANITA（Li，2021）的\emph{compressed and accelerated}梯度方法用于分布式优化，我们称之为CANITA。我们的CANITA实现了\emph{first accelerated rate} $O\bigg(\sqrt{\Big(1+\sqrt{\frac{ω^3}{n}}\Big)\frac{L}ε} + ω\big(\frac{1}ε\big)^{\frac{1}{3}}\bigg)$，其改进了DIANA的现有技术的非加速速率$O\left((1+\fracω{n})\frac{L}ε + \frac{ω^2+ω}{ω+n}\frac{1}ε\right)$（Khaled等人，2020），其中$ε$是目标误差，$L$是目标的平滑参数，$n$是机器/设备的数量，$ω$是压缩参数（较大的$ω$意味着可以应用更多的压缩，没有压缩意味着$ω=0$）。我们的研究结果表明，只要设备$n$的数量很大（在分布式/联邦学…
2021-11-07 cs.DC cs.DS cs.LG
Gravitational Clustering: A Simple, Robust and Adaptive Approach for Distributed Networks
无线传感器网络的分布式信号处理使得不同的设备能够协作解决不同的信号处理任务。关键的第一步是回答这个问题：谁观察什么？最近，已经提出了几种分布式算法，这些算法在提取源特定的特征之后，将信号/对象标记问题框架在聚类分析方面，然而，聚类的数量被假设为已知的。我们提出了一种新的方法，称为引力聚类（GC），自适应地估计的一组特征向量的基础上随时间变化的集群数量。其关键思想是利用质量单元之间引力的物理原理：流入特征向量被认为是特征空间中固定位置的质量单元，在每个时刻围绕其注入移动质量单元。集群枚举利用了移动质量单元上的最高吸引力由具有高密度特征向量的区域施加的事实，即，引力星团通过扩散-自适应机制在相邻节点之间共享估计，实现了协作和分布式簇枚举。数值实验进行了有关的鲁棒性对野值，收敛性和计算复杂性。在分布式协作多视角摄像机网络中的应用说明了对现实世界问题的适用性。
2017-08-31 cs.CV cs.DC
Development of a Big Data Framework for Connectomic Research
本文概述了一种新的基于Hadoop架构的分布式处理和脑电子显微镜分析的研究和开发。我们展示了一个新的C++库的开发，用于实现3D图像分析技术，并部署在分布式地图/减少框架。我们在Open Connectome Project的Kasthuri 11数据集的一个子集上展示了我们的新框架。
2015-01-25 cs.CE cs.DC
Distributed Graph Clustering by Load Balancing
图聚类是一个基本的计算问题，在算法设计、机器学习、数据采掘和社交网络分析中有许多应用。在过去的几十年里，研究人员提出了许多图聚类的算法设计方法。然而，这些方法大多是基于复杂的谱技术或凸优化，并不能直接应用于聚类许多网络发生在实践中，其信息往往是收集在不同的网站。设计一个简单的分布式聚类算法是一个很有意义的问题，在处理大数据集方面有着广泛的应用。在本文中，我们提出了一个简单的分布式算法图聚类：对于广泛的一类图，其特征在于由一个强大的集群结构，我们的算法完成在一个多对数轮数，并恢复分区的图形接近最佳分区。我们的算法的主要组成部分是随机匹配模型的负载均衡，这是一个基本的协议在分布式计算，并已在过去的20年中得到广泛的研究应用。因此，我们的结果突出了图聚类和负载均衡之间的内在和有趣的连接。在技术层面上，我们提出了一个纯粹的代数结果表征的早期行为的负载均衡进程的图形展示集群结构。我们相信，这一结果可以进一步应用于分析其他八卦过程，如谣言传播和平均过程。
2019-04-11 cs.DC cs.DS cs.LG
Fast communication-efficient spectral clustering over distributed data
University of Massachusetts, Dartmouth（马萨诸塞大学达特茅斯分校）；Lovelace Respiratory Research Institute（洛夫莱斯呼吸研究所）
由于集群计算和大数据技术的进步，在过去的几十年里，人们对分布式计算的兴趣激增。现有的分布式算法通常假设{ \it所有的数据已经在一个地方}，并划分数据和征服多台机器上。然而，越来越多的情况是数据位于多个分布式站点，并且人们希望以低通信开销计算所有数据。对于谱聚类，我们提出了一个新的框架，使其计算在这样的分布式数据，与“最小”的通信，而在计算的主要加速。与非分布式设置相比，精度损失可以忽略不计。我们的方法允许在数据所在的地方进行本地并行计算，从而将数据的分布式特性转化为一种祝福;当数据均匀分布在各个站点时，加速是最显著的。在合成和大型UC Irvine数据集上的实验表明，我们的方法几乎没有损失准确性，而在两个分布式站点的各种设置下，速度提高了约2倍。由于传输的数据不需要以其原始形式，我们的框架很容易解决隐私问题的数据共享在分布式计算。
2019-05-05 cs.DC cs.LG stat.ML
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来，人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战，并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的，统一的，算法框架，连续凸逼近（SCA）技术的基础上，并行和分布式解决方案的一般类的非凸约束（不可分离的，网络）的问题。所提出的框架统一和概括了现有的几种SCA方法，使他们呼吁并行/分布式实现，同时提供了一个灵活的选择函数逼近，步长时间表，和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法，在Cetraro，意大利，2014年6月23日至27日举行的讲座。这些讲座是：I）连续凸逼近方法：基础; II）并行连续凸逼近方法;和III）分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
Hearing the clusters in a graph: A distributed algorithm
我们提出了一种新的分布式聚类算法。该算法恢复从谱聚类得到的解决方案，而不需要昂贵的特征值/向量计算。我们证明，通过传播波通过图形，局部快速傅立叶变换产生的拉普拉斯矩阵的每个特征向量的局部分量，从而提供聚类信息。对于大型图，所提出的算法是数量级的速度比基于随机游走的方法。我们证明了所提出的算法的等价性谱聚类和收敛速度。我们证明了使用这种分散的聚类算法在社会图中的社区发现，加速传感器网络中的分布式估计和分布式多代理搜索策略的有效计算的好处。
2011-04-18 cs.DC cs.DM physics.comp-ph
Robust Communication-Optimal Distributed Clustering Algorithms
Rutgers University（罗格斯大学）；Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们研究了$k$ -中位数和$k$ -均值聚类问题时，数据分布在许多服务器上，可以包含离群值。虽然在最坏情况下对这些问题做了很多工作，但我们专注于通过超越最坏情况分析的视角获得更好的理解。我们的主要动机如下：对于许多应用程序，如聚类蛋白质的功能或聚类社区的社会网络中，有一些未知的目标聚类，并希望运行$k$ -中位数或$k$ -均值算法将产生聚类，这是接近匹配的目标聚类。最坏情况的结果可以保证恒定因子近似于最佳$k$ -中位数或$k$ -均值目标值，但不能接近目标聚类。我们的第一个结果是一个分布式算法，它返回一个接近最优的聚类假设一个自然的概念的稳定性，即近似稳定性[Balcan et. 2013年]，即使当数据的恒定部分是离群值时。通信复杂性为$\tilde O(sk+z)$，其中$s$是机器的数量，$k$是集群的数量，$z$是离群值的数量。接下来，我们表明，即使在输入满足各种非最坏情况假设的情况下，这种通信量也无法得到改善。我们给出了一个匹配的$Ω(sk+z)$下界的通信都需要近似的最佳$k$ -手段或$k$ -中值成本的任何常数，并返回一个聚类，是接近目标聚类的汉明距离。即使当数据满足近似稳定性或其他常见的稳定性概念，并且集群大小是平衡的时，这些下限也保持不变。因此，$Ω(sk+z)$是一个通信瓶颈，即使对于实际实例也是如此。
2019-03-06 cs.DC cs.DS cs.LG
Distributed clustering in partially overlapping feature spaces
University of Padova（帕多瓦大学）
针对特征部分重叠的私有数据集分布式聚类问题，提出两种算法：协作更新全局质心的联邦算法和共享本地统计参数以生成合成代理数据集的单次算法，并在三个公开数据集上验证了其性能。
2025-10-10 cs.DC cs.DS cs.LG
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一，因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中，高性能计算包括用于数据存储和数据复制的专用服务器。在本文中，我们提出了一种新的机制，分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理（DSSM）体系结构。这允许在网格计算中不仅共享计算周期，而且共享存储空间。可以从任何网格机器透明地访问存储，从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备（节点）划分为多个地理上分布的域，以促进本地化并简化域内存储管理。采用基于网格服务的存储资源，随着需求的增长，将简单的模块化服务逐块堆叠起来。为此，我们提出了四个定义轴：DSSM架构和算法描述，存储资源和资源发现到网格服务，评估目的原型系统，动态，可扩展性和带宽，并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理，以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI
Acdmcp: An adaptive and completely distributed multi-hop clustering protocol for wireless sensor networks
分簇是一种非常流行的网络结构化技术，主要解决大规模无线传感器网络的可扩展性问题。此外，它已被证明可以提高能量效率并延长网络的寿命。所建议的协议大多基于其聚类标准的节点的一些分组属性。大多数现有的多跳分簇协议在很大程度上忽略的一个重要属性是节点之间的通信链路的可靠性。在本文中，我们提出了一种自适应和完全分布式的多跳聚类协议，它将不同的概念的通信链路的可靠性，除其他外，到一个复合指标，并使用它在聚类过程的所有阶段。距离选出的簇头一跳的节点到特定簇的加入标准不仅考虑其与簇头的通信链路的可靠性，还考虑其他重要属性。位于簇头通信范围之外的节点通过现有的簇成员利用节点和簇头之间的链路可靠性的端到端概念以及其他重要属性而过渡性地成为簇成员。类似地，使用包括与汇聚节点的端到端通信链路可靠性以及其他重要节点和网络属性的一组标准来选择集群间通信路径。我们认为，将链路的可靠性在聚类过程的所有阶段的结果在一个有效的多跳通信层次结构，有可能降低网络中的总通信成本。
2010-09-09 cs.DC cs.NI
Parallelization of the K-Means Algorithm with Applications to Big Data Clustering
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对K-Means串行聚类距离计算开销大的问题，比较OpenMP平面同步与基于OpenACC的GPU并行方案，并通过加速比、效率和耗时评估性能。
2024-05-20 cs.DC cs.LG
A Distributed and Approximated Nearest Neighbors Algorithm for an Efficient Large Scale Mean Shift Clustering
University of Paris 13（巴黎第十三大学）
在本文中，我们的目标是一类的模式聚类方法，其中集群的概率密度函数，生成的数据的局部模式的定义。最著名的模态聚类方法是k均值聚类。Mean Shift聚类是k-means聚类的一种推广，它计算任意形状的聚类，定义为密度梯度上升路径创建的局部模式的吸引盆。尽管Mean Shift方法具有潜力，但对于无监督学习来说，它是一种计算成本很高的方法。因此，我们介绍了两个贡献，旨在提供一个线性的时间复杂度的聚类算法，而不是二次时间复杂度的精确均值漂移聚类。首先，我们提出了一个可扩展的过程来近似密度梯度上升。其次，我们提出了可扩展的集群标记技术。这两个命题都是基于局部敏感哈希（LSH）来近似最近的邻居。这两种技术可用于中等大小的数据集。此外，我们表明，使用我们提出的密度梯度上升的近似值作为其他聚类方法的预处理步骤，也可以提高专用的分类指标。对于后者，提出了一个为Spark/Scala生态系统编写的分布式实现。对于所有这些考虑聚类方法，我们提出了实验结果，说明他们的标签的准确性和解决具体问题的潜力。
2019-02-11 cs.AI cs.DC cs.LG
Distributed $k$-Clustering for Data with Heavy Noise
University at Buffalo（布法罗大学）
在本文中，我们考虑$k$ -中心/中位数/均值聚类与离群值问题（或$(k, z)$ -中心/中位数/均值问题）在分布式设置。大多数以前的分布式算法的通信成本线性依赖于$z$，离群值的数量。最近，Guha等人通过考虑输出具有$2z$离群值的解的双准则近似算法克服了这种依赖性问题。对于其中$z$较大的情况，考虑到数据收集过程可能是昂贵的，由算法丢弃的额外的$z$离群值可能太大。在本文中，我们改进的离群值的数量，以最好的可能$(1+ε)z$，同时保持$O(1)$ -近似比和独立的通信成本$z$。我们考虑的问题包括$(k, z)$ -中心问题，和$(k, z)$ -中位数/均值问题的欧几里德度量。实施我们的算法$(k, z)$ -中心表明，它优于许多以前的算法，无论是在通信成本和质量的输出解决方案。
2018-11-29 cs.DC cs.DS cs.LG
Distributed Big-Data Optimization via Block-Iterative Convexification and Averaging
Università del Salento（萨莱诺大学）；Purdue University（普渡大学）
本文研究多智能体网络中的分布式大数据非凸优化问题，提出基于块迭代凸化和平均的算法，通过局部优化和通信子集，解决非凸性问题并保证渐近收敛。
2018-05-02 cs.DC cs.SY eess.SY
Distributed Coordinate Descent Method for Learning with Big Data
University of Edinburgh（爱丁堡大学）
在本文中，我们开发和分析Hydra：HYbriD坐标下降法解决大数据的损失最小化问题。我们首先对坐标（特征）进行分区，并将每个分区分配给集群的不同节点。在每次迭代中，每个节点从其拥有的坐标中随机选择一个子集，独立于其他计算机，并基于简单的封闭式公式并行计算并应用更新到选定的坐标。我们给出的迭代次数的界限足以近似解决问题的高概率，并显示它如何依赖于数据和分区。我们进行数值实验与LASSO实例描述的3TB矩阵。
2013-10-08 cs.DC cs.LG math.OC
A Unified Framework for Center-based Clustering of Distributed Data
Carnegie Mellon University（卡内基梅隆大学）；Faculty of Technical Sciences, University of Novi Sad（诺维萨德大学技术科学学院）；Faculty of Sciences, University of Novi Sad（诺维萨德大学理学院）
针对分布式数据聚类问题，提出统一框架DGC-$\boldsymbol{\f}_ρ$，支持多种损失函数，通过邻居通信实现中心估计收敛，理论验证其不动点性质，实验表明性能优异且可用于异常检测等场景。
2024-11-25 cs.DC cs.LG cs.MA
A randomized primal distributed algorithm for partitioned and big-data non-convex optimization
Università del Salento（萨兰托大学）
本文提出了一种简单的原始分布式算法，用于解决分区和大数据非凸优化问题，该算法基于随机下降方法，在异步 gossip 通信下收敛到 stationary 点。
2017-03-24 cs.DC cs.NA math.NA
