Distributed clustering in partially overlapping feature spaces
University of Padova（帕多瓦大学）
针对特征部分重叠的私有数据集分布式聚类问题，提出两种算法：协作更新全局质心的联邦算法和共享本地统计参数以生成合成代理数据集的单次算法，并在三个公开数据集上验证了其性能。
2025-10-10 cs.DC cs.DS cs.LG
Distributed Graph Clustering and Sparsification
图聚类是一个基本的计算问题，在算法设计、机器学习、数据采掘和社交网络分析中有许多应用。在过去的几十年里，研究人员提出了许多图聚类的算法设计方法。然而，大多数这些方法是基于复杂的谱技术或凸优化，并不能直接应用于聚类许多网络发生在实践中，其信息往往是在不同的网站上收集。设计一个简单的分布式聚类算法是一个很有意义的问题，在处理大数据集方面有着广泛的应用。在本文中，我们提出了一个简单的分布式算法图聚类：对于广泛的一类图，其特征在于由一个强大的集群结构，我们的算法完成在一个多对数轮数，并恢复分区的图形接近最佳。我们的算法背后的主要组成部分之一是一个采样方案，给定一个密集的图作为输入，产生一个稀疏的子图，可证明保留的集群结构的输入。与以往的稀疏化算法，需要拉普拉斯求解器或涉及组合结构相比，该组件是易于实现的分布式方式，在实践中运行速度快。
2017-11-03 cs.DC cs.DS
Distributed $k$-Clustering for Data with Heavy Noise
University at Buffalo（布法罗大学）
在本文中，我们考虑$k$ -中心/中位数/均值聚类与离群值问题（或$(k, z)$ -中心/中位数/均值问题）在分布式设置。大多数以前的分布式算法的通信成本线性依赖于$z$，离群值的数量。最近，Guha等人通过考虑输出具有$2z$离群值的解的双准则近似算法克服了这种依赖性问题。对于其中$z$较大的情况，考虑到数据收集过程可能是昂贵的，由算法丢弃的额外的$z$离群值可能太大。在本文中，我们改进的离群值的数量，以最好的可能$(1+ε)z$，同时保持$O(1)$ -近似比和独立的通信成本$z$。我们考虑的问题包括$(k, z)$ -中心问题，和$(k, z)$ -中位数/均值问题的欧几里德度量。实施我们的算法$(k, z)$ -中心表明，它优于许多以前的算法，无论是在通信成本和质量的输出解决方案。
2018-11-29 cs.DC cs.DS cs.LG
Distributed Silhouette Algorithm: Evaluating Clustering on Big Data
Politecnico di Torino（都灵理工大学）
在大数据时代，每种算法需要具备的关键特征是能够在分布式环境中高效并行运行。不幸的是，用于评估聚类质量的流行的Silhouette度量不具有此属性，并且相对于输入数据集的大小具有二次计算复杂性。出于这个原因，它的执行在大数据场景中受到了阻碍，在这些场景中，必须以其他方式评估聚类。为了填补这一空白，在本文中，我们介绍了第一个算法，计算的轮廓度量线性复杂度，可以很容易地在分布式环境中并行执行。它的实现在Apache Spark ML库中免费提供。
2023-03-24 cs.AI cs.DC cs.DS
Communication-Optimal Distributed Dynamic Graph Clustering
我们考虑的问题聚类图节点的大规模动态图，如引文网络，图像和Web网络，当图更新，如节点/边插入/删除分布式观察。我们提出了两个行之有效的通信模型，即消息传递和黑板模型的通信效率的算法。给定一个图与$n$节点，观察到在$s$远程站点随着时间$[1,t]$，这两个算法的通信成本$\tilde{O}(ns)$和$\tilde{O}(n+s)$（$\tilde{O}$隐藏了一个多对数因子），几乎匹配他们的下界，$Ω(ns)$和$Ω(n+s)$，分别在消息传递和黑板模型。更重要的是，我们证明，在每个时间点在$[1,t]$我们的算法产生的聚类质量几乎一样好，集中所有的更新到那个时候，然后应用一个标准的集中式聚类算法。我们在合成数据集和真实数据集上进行了广泛的实验，这些实验证实了我们的方法在基线算法上的通信效率，同时实现了可比的聚类结果。
2018-11-14 cs.CC cs.DS
Communication-Efficient Distributed Graph Clustering and Sparsification under Duplication Models
在本文中，我们考虑的问题，聚类图节点和稀疏图边缘分布图，当图边缘可能边缘重复观察到在物理上遥远的网站。虽然不同站点之间的边缘重复乍一看似乎是有益的，但实际上它们可能会使聚类和稀疏化更加复杂，因为它们的处理可能需要额外的计算和通信。我们提出了两个完善的通信模型，即消息传递和黑板模型的第一个通信优化算法。具体来说，给定一个图上的$n$节点与边缘观察在$s$网站，我们的算法实现的通信成本$\tilde{O}(ns)$和$\tilde{O}(n+s)$（$\tilde{O}$隐藏一个多对数因子），几乎匹配它们的下界，$Ω(ns)$和$Ω(n+s)$，分别在消息传递和黑板模型。在边分布的假设下，通信成本与非重复模型下的通信成本渐近相同。我们的算法也可以保证聚类质量几乎一样好，集中所有的边缘，然后应用任何标准的聚类算法。此外，我们进行了第一次调查的分布式结构的图空间的黑板模型。我们为乘法和加法扳手提供了几乎匹配的通信下限和上限。例如，在有和没有复制模型的黑板中构造$(2k-1)$ -模型的通信下界分别是$Ω(s+n^{1+1/k}\log s)$和$Ω(s+n^{1+1/k}\max\{1,s^{-1/2-1/(2k)}\log s\})$，它们几乎匹配两个模型的上界$\tilde{O}(s+n^{1+1/k})$。
2023-02-19 cs.DS
Distributed Graph Clustering using Modularity and Map Equation
我们研究大规模的分布式图聚类。给定一个无向图，我们的目标是将节点划分为称为簇的不相交集合。一个簇应该包含许多内部边，同时稀疏地连接到其他簇。在社交网络的上下文中，集群可以是一组朋友。模块化和映射方程是这种内密外疏原则的形式化描述。我们提出了两个版本的一个简单的分布式算法来优化这两个措施。它们基于Thrill，这是一个分布式大数据处理框架，实现了扩展的MapReduce模型。这两种度量的算法DSLM-Mod和DSLM-Map仅略有不同。使它们适应类似的质量测量是直截了当的。我们对真实世界的图和合成基准图进行了广泛的实验研究，这些图具有高达680亿条边。我们的算法是快速的，同时检测聚类类似于其他顺序，并行和分布式聚类算法检测。与分布式GossipMap算法相比，DSLM-Map算法需要更少的内存，速度快一个数量级，质量更好。
2018-06-07 cs.DC cs.DS physics.soc-ph
A Practical Algorithm for Distributed Clustering and Outlier Detection
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们研究了经典的$k$ -均值/中值聚类，这是无监督学习中的基本问题，在数据被划分为多个站点的设置中，并且允许我们通过将其标记为离群值来丢弃一小部分数据。我们提出了一个简单的方法，基于构建小摘要的原始数据集。该方法具有时间和通信效率高、逼近性好、能有效识别全局离群点等优点。据我们所知，这是第一个实用的算法与理论保证分布式聚类离群值。我们在真实数据和合成数据上的实验表明，我们的算法在几乎所有指标上都明显优于所有基线算法。
2018-10-11 cs.AI cs.DC cs.DS
$k$-Center Clustering in Distributed Models
本文研究了底层度量为图最短路径度量的$k$-中心问题，在LOCAL、CONGEST和CLIQUE三种标准分布式模型中提出了常数因子近似算法与下界，并给出了双准则近似设置的硬度结果。
2024-07-25 cs.DC cs.DS
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）；Princeton Univeristy（普林斯顿大学）
垂直联邦学习（Vertical Federated Learning，VFL）是机器学习的一个重要研究领域，它将数据特征分布存储在多方。然而，VFL的通信复杂性通常非常高。在本文中，我们提出了一个统一的框架，通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置：正则化线性回归和$k$均值聚类，并将我们的coreset框架，这两个问题。我们从理论上表明，使用coresets可以大大降低通信复杂性，而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
Scheduling with Communication Delays via LP Hierarchies and Clustering
我们考虑了经典的问题调度作业的优先约束相同的机器上，以最大限度地减少完工时间，在通信延迟的存在。在此设置中，由$\mathsf{P} \mid \mathsf{prec}, c \mid C_{\mathsf{max}}$表示，如果在不同的计算机上调度两个相关作业，则它们的执行之间必须至少经过$c$时间单位。尽管它的相关性，许多应用程序，该模型仍然是最了解调度理论之一。即使对于一个特殊的情况下，无限数量的机器是可用的，最好的已知近似比是$2/3 \cdot (c+1)$，而格雷厄姆的贪婪列表调度算法已经给出了一个$(c+1)$ -近似在该设置。Schuurman和Woeginger的前10名列表中的一个突出的开放问题及其最近由Bansal更新的问题是，是否存在常数因子近似算法。在这项工作中，我们给出了一个多项式时间的$O(\log c \cdot \log m)$ -近似算法为这个问题，其中$m$是机器的数量和$c$是通信延迟。我们的方法是基于一个Sherali-Adams电梯的线性规划松弛和随机聚类的半度量空间引起的这个电梯。
2020-04-21 cs.DS
When Distributed Computation is Communication Expensive
我们考虑了一些基本的统计和图形问题的消息传递模型，我们有$k$机器（网站），每个持有一块数据，和机器要共同解决一个问题上定义的联合$k$数据集。通信是点对点的，目标是最小化$k$机器之间的总通信。该模型捕获了关于最小化通信成本的所有点对点分布式计算模型。我们的分析表明，在这种分布式设置中，许多统计和图形问题的精确计算需要大量的通信，并且通常无法改进所有机器将其数据发送到集中式服务器的简单协议的通信。因此，为了获得通信高效的协议，必须允许近似，或者调查数据集的分布或布局。
2013-07-26 cs.DS
Communication-Efficient (Weighted) Reservoir Sampling from Fully Distributed Data Streams
我们认为通信效率的加权和不加权（均匀）随机抽样从分布式数据流呈现为一系列的小批量项目。这是分布式流计算的自然模型，我们的目标是展示其实用性。我们提出并分析了完全分布式，通信效率的算法，这两个版本的问题。在多达256个节点（5120个处理器）上进行加权水库采样的实验评估显示出良好的加速比，而理论分析则有望进一步扩展到更大的机器。
2020-02-25 cs.DC cs.DS
Compression and Sieve: Reducing Communication in Parallel Breadth First Search on Distributed Memory Systems
对于大规模分布式存储系统上的并行广度优先搜索（BFS）算法，通信开销往往比运算开销大得多，限制了算法的可扩展性。在本文中，我们充分降低分布式BFS的通信成本，通过压缩和筛选的消息。首先，我们利用位图压缩算法，以减少通信之前的消息的大小。其次，我们提出了一种新的分布式目录算法，交叉目录，以筛选消息中的冗余数据。在一个6,144核的SMP集群上的实验表明，该算法的性能是Graph 500中基准实现的2.2倍，通信时间减少了79.0%，性能速率达到了12.1 GTEPS（每秒十亿次边缘访问）。
2012-08-28 cs.DC cs.DS
Low-Distortion Clustering in Bounded Growth Graphs
本文研究有界增长图中的低失真聚类，证明一般图的 $\Omega((\log n)^{1/3})$ 下界，并为一致有界独立图设计恒失真分布式聚类算法及匹配下界。
2025-06-11 cs.DC cs.DS
A Distributed Algorithm for Spectral Sparsification of Graphs with Applications to Data Clustering
谱稀疏化是一种用于减少半正定矩阵中非零元素的数量而对其谱几乎没有改变的技术。特别地，谱稀疏化的主要应用是构造其谱接近给定稠密图的稀疏图。我们研究谱稀疏化的假设下，一个图的边缘之间分配的网站，可以相互沟通。在这项工作中，我们表明，如果一个图是分配在几个网站之间，工会的频谱稀疏的每个诱导子图给我们一个频谱稀疏的原始图。在文献中的其他作品相比，我们提出了精确的计算的近似因子的联盟的谱稀疏，并给出了明确的计算的边缘权重。然后，我们提出了一个应用程序，这个结果的数据聚类在额头上的数字模型的多方通信复杂性时，输入数据分配为一个向日葵之间的网站在党。
2020-12-16 cs.DS math.CO
