Adaptive Massively Parallel Connectivity in Optimal Space
本文在自适应大规模并行计算模型中研究连通分量问题,提出在森林和一般图中分别以近常数轮和线性总空间求解的改进算法,并将常数轮情形下的总空间复杂度从 $Ω(m+n\log n)$ 优化至 $Θ(m+n\log^{(k)} n)$。
2023-04-14 cs.DC cs.DS
Dynamic Graph Algorithms with Batch Updates in the Massively Parallel Computation Model
我们研究了大规模并行计算模型下的动态图算法,这是受到实际数据处理系统的启发。我们的目标是提供算法,可以有效地处理大批量的边缘插入和删除。我们展示的算法,需要更少的回合来更新的解决方案,如最小生成森林,2-边连接组件,最大匹配比将需要由他们的静态同行从头开始计算。它们工作在最严格的内存制度,其中每台机器的本地内存是强次线性的图形顶点的数量。改进它们可以有效处理的批的大小将改进稀疏图上的已知静态算法的轮复杂度。我们的算法可以处理批量更新的大小$Θ(S)$,最小生成森林和2-边连接组件,和$Θ(S^{1-\varepsilon})$,最大匹配,在$O(1)$轮,其中$S$是一台机器的本地内存。
2021-01-11 cs.DC cs.DS
Massively Parallel Algorithms for Finding Well-Connected Components in Sparse Graphs
大规模并行计算(MPC)平台出现的一个基本问题是,与PRAM等经典并行模型相比,如何利用MPC范式的额外功能来实现更快的算法?以前的研究已经确定稀疏图连通性问题是这种改进的主要障碍:虽然用于在任何$n$ -顶点图中找到连通分量的经典的循环PRAM算法已经知道了三十多年,但是没有$o(\log{n})$ -循环MPC算法已知用于此任务,并且每台机器的$n$存储器中具有真正的次线性。这个问题出现在处理大量但稀疏的图形与$O(n)$边缘,其中有趣的参数设置是$n^{1-Ω(1)}$内存每台机器。这是证明,实现$o(\log{n})$轮算法的连接一般稀疏图与$n^{1-Ω(1)}$每台机器的内存可能是不可能的,这一猜想也形成了多个条件硬度结果的基础上轮复杂性的MPC模型中的其他问题。我们采取机会主义的方法对稀疏图的连通性问题,通过设计一个算法,提高了性能保证方面的输入图的连接结构。形式上,我们设计了一个算法,找到所有连接组件的频谱间隙至少$λ$在图中的$O(\log\log{n} + \log{(1/λ)})$ MPC轮和$n^{Ω(1)}$内存每台机器。因此,该算法在稀疏的“良好连接”分量(即,$λ\geq 1/\text{polylog}{(n)}$),每台机器只使用$n^{Ω(1)}$内存和$\widetilde{O}(n)$总内存,并且即使当$o(\log n)$。
2018-05-08 cs.DC cs.DS
Massively Parallel Computation in a Heterogeneous Regime
大规模并行图算法在过去的十年中受到了广泛的关注,研究集中在三个内存区域:超线性区域,近线性区域和次线性区域。次线性制度是最可取的,在实践中,但条件硬度的结果指向其局限性。在这项工作中,我们研究了一个\emph{heterogeneous}模型,其中的机器的内存大小不同。我们主要关注的是通过在次线性MPC区域中添加单个近线性机器所产生的异质设置,并且表明即使是单个大机器也足以规避次线性区域的大多数条件硬度结果:对于具有$n$顶点和$m$边的图,我们给出了(a)在$O(\log\log(m/n))$轮中运行的MST算法;(b)在$O(1)$轮中构造大小为$O(n^{1+1/k})$的$O(k)$ -矩阵的算法;以及(c)在$O(\sqrt{\log(m/n)}\log\log(m/n))$轮中运行的最大匹配算法。我们还观察到,最有名的近线性MPC算法的其他几个图形问题,这是被证明是很难在次线性政权(最小割,最大独立集,顶点着色)可以很容易地转换到异构MPC模型与一个单一的近线性机器的工作,同时保留其原始轮的复杂性在近线性政权。如果允许大型机器具有\emph{superlinear}内存,则上述所有问题都可以在$O(1)$轮中解决。
2023-02-28 cs.DC cs.DS
String Matching with Wildcards in the Massively Parallel Computation Model
研究了存在通配字符的字符串匹配问题的分布式算法。给定一个字符串T(一个文本),我们寻找另一个字符串P(一个模式)作为字符串T的子串的所有出现。模式中的每个通配字符都根据其类型匹配特定的字符串类。字符串匹配是计算机科学中最基本的问题之一,特别是在生物信息学和机器学习领域。自20世纪60年代以来,经过不懈的努力,已经产生了多种解决该问题的算法。随着大数据的兴起和解决大数据集问题的必然需求,已经有许多尝试将经典算法应用到MPC框架中以获得进一步的效率。MPC是一个新的大数据并行计算框架,旨在捕获类似MapReduce的算法。在本文中,我们研究了字符串匹配问题,使用一组工具转换为MPC模型。我们在字符串匹配中考虑三种类型的通配符:- '?“”模式:在此设置中,模式允许包含特殊“?'字符或与文本的任何字符匹配的无关字符。利用快速卷积可以解决无关字符串的匹配问题,并给出了一种固定循环数的MPC算法,该算法在固定循环数的MPC中利用FFT。- “+”字符:“+”字符是一个专用字符,允许任意重复一个字符。当模式中包含“+”通配字符时,通过子集匹配问题的约简,算法运行在固定的MPC轮数中。- “*”字符串:“*”是一个专用字符,与文本的任何子字符串匹配。当模式中允许使用“*”时,我们在对数轮中解决问题的两种特殊情况。
2021-06-04 cs.DC
Massively Parallel Algorithms and Hardness for Single-Linkage Clustering Under $\ell_p$-Distances
我们提出了大规模并行(MPC)算法和硬度的近似结果计算$n$输入$d$维向量的单链聚类下的汉明,$\ell_1, \ell_2$和$\ell_\infty$距离。我们所有的算法运行在$O(\log n)$轮MPC的任何固定的$d$和实现$(1+ε)$ -近似的所有距离(除了汉明,我们显示一个确切的算法)。我们还显示了恒定因素的不可近似性结果$o(\log n)$轮算法下的标准MPC硬度假设(足够大的尺寸取决于所使用的距离)。我们的算法在Apache Spark中的实现效率通过在各种数据集上的实验来证明,这些数据集表现出几个数量级的加速。
2018-03-25 cs.DB cs.DC cs.DS
Near-Optimal Massively Parallel Graph Connectivity
识别图的连通分量,除了是无数应用的基本问题之外,也是许多其他算法的关键基础。在本文中,我们考虑这个问题在并行设置。特别是,我们专注于大规模并行计算(MPC)模型,这是现代并行框架(如MapReduce,Hadoop或Spark)的标准理论模型。我们认为真正的次线性制度MPC的图形问题,每台机器的空间是$n^δ$的一些理想的小常数$δ\in (0, 1)$。我们提出了一个算法,对于直径$D$在宽范围$[\log^ε n, n]$的图,采取$O(\log D)$轮,以确定连通组件和采取$O(\log \log n)$轮的所有其他图。该算法是随机的,成功的概率高,不需要$D$的先验知识,并使用$O(m)$的最佳总空间。我们补充这一点,显示了一个条件下限的基础上,广泛认为TwoCycle猜想,$Ω(\log D)$轮确实是必要的,在这种情况下。在Andoni等人的开创性工作[FOCS 2018]之后,研究并行连接算法重新受到关注,他们提出了一种具有$O(\log D \cdot \log \log n)$轮复杂度的算法。我们的算法改进了这一结果的$D$值的整个范围内,几乎解决了问题,由于条件下限。此外,我们表明,以最小的调整,我们的算法也可以实现在一个变种的(CRCW)PRAM在渐近相同数量的回合。
2020-03-11 cs.DC cs.DS
Walking Randomly, Massively, and Efficiently
我们介绍了一组技术,允许有效地产生许多独立的随机游动的大规模并行计算(MPC)模型与空间每台机器的顶点数强次线性。在这种每台机器空间的制度,许多自然的方法图问题的斗争,以克服$Θ(\log n)$ MPC轮复杂性障碍。我们的技术使打破这一障碍PageRank-随机游走的最重要的应用程序之一-即使在更具挑战性的有向图,近似bipartiteness和扩展测试。在无向情况下,我们从平稳分布开始随机游走,这意味着我们大致知道它们下一步的经验分布。这允许提前准备随机游走的延续并应用加倍方法。因此,我们可以在MPC上的$Θ(\log l)$轮中生成多个长度为$l$的随机游动。此外,我们表明,在流行的1-vs.- 2-循环猜想,此轮复杂度是渐近紧的。对于有向图,我们的方法源于我们对PageRank马尔可夫链的处理。我们首先计算输入图的无向版本的PageRank,然后慢慢过渡到有向的情况下,考虑在这个过程中的过渡矩阵的凸组合。对于PageRank,我们在阻尼因子等于$1 - ε$的情况下实现了以下轮复杂度:* 在无向图的$O(\log \log n + \log 1 / ε)$轮中(具有$\tilde O(m / ε^2)$总空间),* 在有向图的$\tilde O(\log^2 \log n + \log^2 1/ε)$轮中(具有$\tilde O((m+n^{1+o(1)}) / poly\…
2019-11-06 cs.DC cs.DS
Massively Parallel Approximate Distance Sketches
允许有效距离估计的数据结构(距离预言、距离草图等)已经被广泛研究,特别是在集中式模型和经典的分布式模型(如CONGEST)中研究得很好。我们开始他们的研究在较新的(可以说是更现实的)分布式计算模型:拥塞集团模型和大规模并行计算(MPC)模型。我们在这两个模型中提供了有效的构造,但我们的核心结果是MPC。在MPC中,我们给出了两个主要结果:构造拉伸/空间最佳距离草图但需要(小)多项式数量的轮次的算法,以及构造拉伸较差但只需要多对数轮次的距离草图的算法。一路上,我们表明,其他有用的组合结构也可以计算在MPC。特别是,我们用来构建距离草图的一个关键组件是Elkin和Neiman(2016)的跳集的MPC构造。这一结果有额外的应用,如第一次多项式时间算法恒定近似单源最短路径加权图在低内存MPC设置。
2019-09-12 cs.DC cs.DS
Time and Space Optimal Massively Parallel Algorithm for the 2-Ruling Set Problem
本文提出拥塞团模型下2-统治集问题的常数轮算法,推导MPC模型下时空最优的同类算法,改进已有轮数复杂度结果,技术可推广至半流模型,核心是新颖采样过程结合两次运行以高概率得解。
2023-10-10 cs.DC cs.DS
Massively Parallel Algorithms for Distance Approximation and Spanners
在过去的十年中,有越来越多的兴趣在分布式/并行算法处理大规模的图形。到目前为止,对于大规模并行计算(MPC)模型中的一些基本图形问题,我们已经有了相当快的算法--通常是亚临界时间,通常是$poly(\log\log n)$时间,甚至更快。该模型是MapReduce风格设置的广泛采用的理论抽象,其中许多机器以全对全的方式进行通信以处理大规模数据。贡献这一行的MPC图形算法的工作,我们提出了$poly(\log k) \in poly(\log\log n)$轮MPC算法计算$O(k^{1+{o(1)}})$ -spectrometry在强次线性制度的本地存储器。据我们所知,这些是第一个亚临界时间MPC算法的结构。作为主要的应用程序,我们得到两个重要的影响,如下:-对于MPC设置,我们得到了一个$O(\log^2\log n)$轮算法的$O(\log^{1+o(1)} n)$近似的所有对最短路径(APSP)在近线性制度的本地内存。据我们所知,这是第一个用于距离近似的亚临界时间MPC算法。- 我们上面的结果也扩展到分布式计算的拥塞集团模型,具有相同的轮复杂度和近似保证。这给出了拥塞集团模型中加权图中近似APSP的第一个亚对数算法。
2021-06-28 cs.DC cs.DS
Massively Parallel Algorithms for $b$-Matching
本文提出了一个$O(\log\log \bar{d})$轮大规模并行算法,用于最大加权$b$ -匹配的$1+ε$近似,每台机器使用近线性内存。这里,$\bar{d}$表示图中的平均度,并且$ε$是任意小的正常数。回想一下,$b$匹配是匹配问题的自然和充分研究的推广,其中允许不同的顶点在匹配中具有多个(和不同数量的)入射边。具体地,每个顶点$v$被给予正整数预算$b_v$,并且在匹配中它可以具有多达$b_v$的关联边。先前,对于加权匹配的$1+ε$近似和最大匹配,存在具有轮复杂度$O(\log\log n)$或$O(\log\log Δ)$的已知算法,其中$Δ$表示最大程度[Czumaj等人,STOC'18,Ghaffari等人PODC'18; Assadi等人SODA'19; Behnezhad等人FOCS'19; Gamlath等人PODC'19],但是这些算法没有扩展到更一般的$b$匹配问题。
2022-11-14 cs.DC cs.DS
Improved Massively Parallel Shortest Path Computation
National University of Singapore(新加坡国立大学)
该研究针对大规模并行计算模型,提出两种场景下的近似单源最短路径预言机构建算法,改进了现有工作的轮次复杂度与适用范围,核心是高效计算近似近邻域的新方法。
2026-10-14 cs.DC cs.DS
Massively Parallel Symmetry Breaking on Sparse Graphs: MIS and Maximal Matching
在过去的几年里,MapReduce、Hadoop或Spark等现代并行范式的成功吸引了人们对大规模并行计算(MPC)模型的极大关注,特别是在图问题上。在这项工作中,我们认为对称性破缺问题的最大独立集(MIS)和最大匹配(MM),这是最深入研究的问题,在分布式/并行计算,在MPC。这些问题是已知的承认有效的MPC算法,如果每台机器的空间是近线性的$n$,在图中的顶点数。然而,正如在文献中所观察到的,这种空间需求通常比我们所能承受的要大得多;特别是当输入图稀疏时。与此形成鲜明对比的是,在每台机器的$n^{1-Ω(1)}$空间的真正次线性区域中,所有已知的算法都采用被认为是低效的$\log^{Ω(1)} n$轮。出于这个缺点,我们参数化我们的算法的荫度$α$的输入图,这是一个广受好评的措施,其稀疏性。我们表明,MIS和MM都承认$O(\sqrt{\log α}\cdot\log\log α+ \log^2\log n)$轮算法使用$O(n^ε)$空间每台机器的任何常数$ε\in (0, 1)$和使用$\widetilde{O}(m)$总空间。因此,对于稀疏图的荫度较小的情况-如无次图、有界亏格图或有界树宽图-,我们得到了一个$O(\log^2 \log n)$轮算法,该算法指数地改进了现有的算法。通过已知的约简,我们的结果也意味着一个$(1+ε)$ -近似的最大基数匹配,一个$(2+ε)…
2019-05-06 cs.DC cs.DS
Exponentially Faster Massively Parallel Maximal Matching
提出一种简单边采样与随机划分的贪心算法,实现MPC模型下极大匹配的指数级加速,达到$O(\log\log Δ)$轮和$O(n)$空间,并导出最优2近似最小顶点覆盖。
2023-08-17 cs.DC cs.DS
New lower bounds for Massively Parallel Computation from query complexity
Roughgarden,Vassilvitskii和Wang(JACM 18)最近介绍了一个新的框架,用于使用布尔函数复杂度技术证明大规模并行计算的下界。我们以两种不同的方式扩展了他们的框架,以捕获大规模并行计算的两个共同特征:$\circ$自适应性,其中机器可以在整个计算执行过程中写入和自适应地读取共享内存。Behnezhad等人(SPAA 19)最近的工作表明,自适应性可以显着改善许多中心图问题的轮复杂性。$\circ$ Promise问题,其中算法只需要在某些输入上成功。这些输入可能具有特别感兴趣的特殊结构,或者它们可能代表整个问题的困难实例。使用这个扩展的框架,我们给出了第一个无条件下界的复杂性区分输入图是一个周期的长度$n$或两个周期的长度$n/2$。1v 2-循环问题是大规模并行计算研究中的一个核心问题。我们证明,任何自适应算法的1v 2周期问题的I/O能力$O(n^{\varepsilon})$每台机器需要$Ω(1/\varepsilon)$轮,匹配最近的上限Behnezhad等人。除了加强大规模并行计算和布尔函数复杂性之间的联系,我们还开发了新的机器,后者的原因。我们证明的核心是1v 2-循环问题的查询复杂度和近似证书复杂度的最佳下界。
2020-01-05 cs.CC cs.DC cs.DS
Deterministic Massively Parallel Connectivity
本文研究了在大规模并行计算(MPC)模型上设计基本图算法的问题。该问题的输入是一个无向图$G$,它具有$n$顶点和$m$边,并且$D$是$G$中任何连通分量的最大直径。我们认为MPC与低本地空间,允许每台机器存储只有$Θ(n^δ)$字为任意常数$δ> 0$,并与线性的全球空间(这是等于机器的数量乘以本地可用空间),即最佳利用率。在最近的一项突破中,Andoni等人(FOCS 18)和Behnezhad等人(FOCS 19)设计了并行随机算法,该算法在具有低局部空间的MPC上的$O(\log D + \log \log n)$轮中确定输入图的所有连通分量,改进了从PRAM算法的早期工作中导出的$O(\log n)$的经典界。在本文中,我们表明,渐近相同的界限也可以实现确定性算法:我们提出了一个确定性MPC低局部空间算法,在$O(\log D + \log \log n)$轮确定输入图的所有连接组件。
2021-08-09 cs.DC cs.DS
Graph Sparsification for Derandomizing Massively Parallel Computation with Low Space
大规模并行计算(MPC)模型是一种新兴的模型,它提取了分布式和并行计算的核心方面。它已被开发为一种工具,用于解决系统中的(通常是图形)问题,其中输入分布在空间有限的许多机器上。最近的工作集中在制度中,机器有次线性(在$n$中,输入图中的节点数)内存,随机算法的基本图形问题的最大匹配和最大独立集。然而,先前没有相应的\emph{deterministic}算法。次线性空间设置的一个主要挑战是,每个机器的局部空间可能太小,无法存储单个节点的所有边。这构成了一个相当大的障碍相比,在经典模型中,每个节点被假定为知道,并很容易访问其事件的边缘。为了克服这一障碍,我们引入了一个新的\emph{graph sparsification technique},\emph{deterministically}计算一个低度子图的额外的期望属性。使用这个框架去随机化著名的随机化算法的卢比[SICOMP'86],我们得到$O(\log Δ+\log\log n)$轮\emph{deterministic} MPC算法解决的基本问题的\emph{Maximal Matching}和\emph{Maximal Independent Set}与$O(n^ε)$空间在每台机器上的任何常数$ε> 0$。根据Ghaffari等人[FOCS'18]的最新研究,该添加剂$O(\log\log n)$因子是\emph{c…
2020-02-19 cs.DC cs.DS
Deterministic Massively Parallel Symmetry Breaking for Sparse Graphs
针对稀疏图的大规模并行计算模型,本文提出了改进的确定性MPC算法,通过基于树状度的度数降低方法,提升了极大独立集、极大匹配和顶点着色问题的轮复杂度,并扩展至线性全局内存设置,显著超越了现有技术水平。
2023-06-30 cs.DC cs.DS
Sparsifying Distributed Algorithms with Ramifications in Massively Parallel Computation and Centralized Local Computation
我们介绍了一种方法,稀疏化分布式算法,并展示它如何导致改进,过去已知的障碍,在两个算法设置的大规模图形处理:大规模并行计算(MPC),和本地计算算法(LCA)。- 具有强次线性存储器的MPC:最近,对于MIS、最大匹配、最小顶点覆盖的2-近似和最大匹配的$(1+ε)$ -近似等问题,获得比其经典$O(\log n)$轮并行对应物更快的MPC算法的兴趣越来越大。目前,所有这样的MPC算法需要每台机器的$\tildeΩ(n)$存储器。Czumaj等人[STOC'18]是第一个处理$\tildeΩ(n)$内存的人,在$O((\log\log n)^2)$轮中运行。我们得到$\tilde{O}(\sqrt{\log Δ})$轮MPC算法的所有这四个问题,即使每个机器有内存$n^α$任何常数$α\in (0, 1)$。这里,PDMATHAMT表示最大程度。这些是第一个亚临界时间算法,这些问题,打破了线性记忆障碍。- 查询复杂度低于Parnas-Ron范式的LCA:目前,最知名的MIS LCA具有查询复杂度$Δ^{O(\log Δ)} poly(\log n)$,由Ghaffari [SODA'16]提出。正如Rubinfeld所指出的,获得$poly(Δ\log n)$的查询复杂度仍然是一个中心的开放问题。Ghaffari的界限几乎达到了所有已知MIS LCA所共有的$Δ^{Ω\left(\…
2018-07-17 cs.DC cs.DS
Massively Parallel Algorithms for Approximate Shortest Paths
该研究在近线性内存大规模并行计算模型下,提出了轮复杂度为poly(log log n)的SSSP(1+ε)近似算法与距离预言机,突破了此前Ω(log n)的轮数或近似比下界,核心工具可在亚线性MPC模型中构建。
2025-05-17 cs.DC cs.DS
Massively Parallel Algorithms for Small Subgraph Counting
在过去的二十年中,分布式内存并行计算框架,如MapReduce,Hadoop,Spark和Dryad,随着大型网络数据集的日益普及而获得了极大的普及。大规模并行计算(MPC)模型是在理论上研究这些框架中的图算法的事实标准。子图计数是分析海量图的基本问题之一,主要的算法挑战集中在设计可扩展和准确的方法上。给定一个图$G=(V, E)$与$n$顶点,$m$边和$T$三角形,我们的第一个结果是一个算法,输出$(1+\varepsilon)$ -近似$T$,与渐近\emph{optimal round and total space complexity}提供任何$S \geq \max{(\sqrt m, n^2/m)}$空间每台机器,并假设$T=Ω(\sqrt{m/n})$。我们的结果给出了一个二次改进的$T$上的界限比以前的作品。我们还提供了一个简单的推广,我们的结果计数\emph{any}子图的$k$大小为常数$k \geq 1$。我们的第二个结果是一个$O_{\varepsilon}(\log \log n)$轮算法,用于精确计算三角形的数量,其总的空间使用由输入图的\emph{arboricity} $α$参数化。我们将这一结果扩展到精确计数$k$ -团为任何常数$k$。最后,我们证明了Bera,Pashanasangi和Seshadhri(ITCS 2020)最近的一个结果,…
2022-07-18 cs.DC cs.DS
A Massively Parallel Algorithm for Minimum Weight Vertex Cover
我们提出了一个大规模并行算法,每台机器的近线性内存,计算$(2+\varepsilon)$近似的最小权重顶点覆盖$O(\log\log d)$轮,其中$d$是输入图的平均程度。我们的结果填补了关键剩余的差距,在国家的最先进的MPC算法的顶点覆盖和匹配问题,两个经典的优化问题,这是相互矛盾的。具体地说,最近的一系列工作-由Czumaj等人[STOC'18]、Ghaffari等人[PODC'18]、Assadi等人[SODA'19]和Gamlath等人[PODC'19]-为$(1+\varepsilon)$ -近似最大权重匹配以及$(2+\varepsilon)$ -近似最小基数顶点覆盖提供了$O(\log\log n)$时间算法。然而,后一种算法不适用于顶点覆盖的一般加权情况,其中最著名的算法保持在$O(\log n)$时间复杂度。
2020-05-21 cs.DC cs.DS
Optimal Deterministic Massively Parallel Connectivity on Forests
我们展示了快速确定性算法的基本问题,森林在具有挑战性的低空间制度的著名的大规模并行计算(MPC)模型。Coy和Czumaj [STOC'22]最近的一个突破性结果表明,在这种情况下,可以确定性地识别$O(\log D + \log\log n)$轮中图上的连通分量,其中$D$是图的直径,$n$是节点的数量。作者留下了一个主要的问题:是否有可能摆脱附加的$\log\log n$因素,并确定性地识别连接组件在运行时是完全独立的$n$?就森林而言,我们对上述问题的回答是肯定的。我们给出了一个算法,确定连通组件的$O(\log D)$确定性轮。所需的总存储器是$O(n+m)$字,其中$m$是输入图中的边的数量,这是最佳的,因为它仅足以存储输入图。我们补充我们的上限结果表明,$Ω(\log D)$时间是必要的,即使是组件不稳定的算法,条件是广泛认为1与2个周期猜想。我们的技术也产生一个确定性的森林生根算法具有相同的运行时间和内存界限。此外,我们考虑局部可检查的标签问题(LCL),其解决方案可以通过检查每个节点的$O(1)$半径邻域进行验证。我们证明了森林上的任何LCL问题都可以用规范的确定性算法在$O(\log D)$轮中解决,这比Brandt,Latypov和Uitto的$O(\log n)$运行时有所改进[DISC'21]。我们还表明,有没有算法,解决所有的LCL问题的树木渐近更快。
2022-11-07 cs.DC cs.DS
Fully Scalable Massively Parallel Algorithms for Embedded Planar Graphs
本文针对嵌入平面图提出完全可扩展的 MPC 常数轮算法,将每台机器内存需求从 n^{2/3+Ω(1)} 降至 n^δ,并解决连通性、MST、SSSP、最小割及最大流等问题。
2023-10-27 cs.CG cs.DC cs.DS
Improved Deterministic Connectivity in Massively Parallel Computation
关于大规模并行计算模型中的连接性的一系列研究在Andoni等人的开创性工作中达到了高潮。[FOCS'18]和Behnezhad等人。[FOCS'19]。他们提供了一个低空间MPC的随机算法,并证明是最佳的轮复杂度$O(\log D + \log \log_{\frac m n} n)$和$O(m)$空间,对于图的$n$顶点与$m$边和直径$D$。令人惊讶的是,Coy和Czumaj [STOC'22]最近的结果显示了如何确定性地实现相同的结果。然而,不幸的是,他们的算法遭受大的本地计算时间。我们提出了一个确定性的连接算法,匹配的所有参数的随机算法,此外,显着减少了本地计算时间接近线性。我们的去随机化方法是基于减少所需的随机性,以允许一个更简单的高效搜索。虽然类似的随机性减少方法已经使用过,我们的结果不仅是惊人的简单,但它是第一个有效率的本地计算。这就是为什么我们认为它可以作为系统开发低内存MPC中计算高效的去随机化方法的起点。
2022-08-16 cs.DC cs.DS
Massively-Parallel Heat Map Sorting and Applications To Explainable Clustering
Sharif University of Technology(谢里夫理工大学)
本文提出了热图排序问题以在保持簇连通性的前提下重排与合并点及维度,证明了其NP难性,并给出了大规模并行计算模型下的常数轮次固定参数算法及NP难特例的近似算法,实证表明其优于k-means和DBSCAN。
2023-09-14 cs.DC cs.DS cs.LG
How fast can you update your MST? (Dynamic algorithms for cluster computing)
想象一个由计算机集群处理的大型图,例如,由$k$ -机器模型或大规模并行计算模型描述。然而,这个图不是静态的;相反,它正在接收不断的更新流。群集处理更新流的速度有多快?在本文中,我们想问的基本问题是,我们是否可以足够快地更新图,以跟上流。我们专注于维护一个最小生成树(MST)的问题,我们给出了一个算法的$k$ -机模型,可以处理$O(k)$图形更新每$O(1)$轮的高概率。(And这些结果延续到大规模并行计算(MPC)模型。我们还展示了一个下界,即,不可能在$O(1)$循环中处理$k^{1+ε}$更新。因此,我们提供了一个近乎严密的答案,一个集群可以多快地响应流的图形修改,同时保持MST的问题。
2020-02-17 cs.DC cs.DS
Equivalence Classes and Conditional Hardness in Massively Parallel Computations
大规模并行计算(MPC)模型作为许多现代大规模数据处理框架的通用抽象,在过去几年中受到越来越多的关注,特别是在经典图问题的背景下。到目前为止,讨论这个模型的下界的唯一方法是以一些特定问题的难度为条件,例如承诺图上的图连通性是一个循环还是两个循环,通常称为一个循环与两个循环问题。这与传统的基于复杂性类的假设的论点不同(例如,$\textsf{P} \neq \textsf{NP}$),它们通常更健壮,因为反驳它们会导致一大堆问题的突破性算法。在本文中,我们提出的问题和类的问题,允许后一种类型的参数之间的连接。这些联系涉及在MPC模型中可在次对数数量的轮次内解决的问题的类,用$\textsf{MPC}(o(\log N))$表示,以及关于空间复杂度的一些标准类,即$\textsf{L}$和$\textsf{NL}$,并且建议在反驳它们的意义上是鲁棒的,这将导致MPC模型中许多令人惊讶的快速新算法。我们还获得了新的条件下界,并证明了新的减少和MPC模型中的问题之间的等价性。
2020-01-07 cs.DC cs.DS
On Solving Problems of Substantially Super-linear Complexity in $N^{o(1)}$ Rounds in the MPC Model
Department of Computer Science, Lund University(隆德大学计算机系)
研究MPC模型中以$N^{o(1)}$轮求解超线性复杂度问题的可能性,得出相关指数需满足的约束条件。
2026-09-08 cs.CC cs.DC cs.DS
Massively Parallel Maximum Coverage Revisited
本文针对大规模并行模型中的最大集合覆盖问题,提出一种随机化近似算法,在每台机器仅使用 Õ(n) 内存的条件下,以 O(1/ε³·log m·(log(1/ε)+log m)) 轮达到 1-1/e-ε 近似比,显著改善了此前方案对内存或轮数的过高要求。
2024-11-24 cs.DC cs.DS
Massively-Parallel Similarity Join, Edge-Isoperimetry, and Distance Correlations on the Hypercube
我们研究分布式协议,在一个大的数据集中找到所有对相似的向量。我们的结果涉及到各种离散度量,我们给出了具体的实例汉明距离。特别是,我们给出了改进的上限上的汉明距离$r>1$定义的相似性所需的开销,并证明了一个下界,显示定性的最优性的相似性所需的开销超过任何汉明距离$r$。我们的主要概念的贡献是相似性搜索算法和某些图论数量之间的连接。对于我们的上界,我们展示了一个通用的方法,设计一轮协议,使用边缘等周形状的相似性图。对于我们的下限,我们定义了一个新的组合优化问题,这可以说在纯粹的图论术语,但也抓住了核心的分析在以前的理论工作,分布式相似连接。作为我们的主要技术成果之一,我们证明了汉明立方体的子集的距离相关性的新的界限。
2016-11-15 cs.CC cs.DC cs.DS
A Few Shared Random Bits Suffice for Constant-Round Almost Stable Matching
National University of Singapore(新加坡国立大学);Indian Statistical Institute, Kolkata(印度统计学院,加尔各答)
本研究提出度数保护冻结规则,仅用少量共享随机比特就在一般二分图上实现了常数轮的几乎稳定匹配求解,突破了以往算法受图度数和规模限制的瓶颈,并拓展到无共享随机的CONGEST模型与MPC模型。
2026-08-28 cs.DC
Correlation Clustering in Constant Many Parallel Rounds
Google Research(谷歌研究院);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
相关聚类是无监督学习的一个中心话题,在ML和数据采掘中有许多应用。在相关聚类中,人们接收一个有符号的图作为输入,目标是将其划分以最小化不一致的数量。在这项工作中,我们提出了一个大规模并行计算(MPC)算法,这个问题是相当快的比以前的工作。特别是,我们的算法使用的机器与内存次线性的节点数在图中,并返回一个常数近似值,而只运行一个常数轮数。据我们所知,我们的算法是第一个,可以证明近似的聚类问题的图只使用一个常数的MPC轮在次线性记忆制度。我们补充我们的分析与我们的技术的实验分析。
2021-06-15 cs.DC cs.DS cs.LG
Massively Parallel Algorithms for the Stochastic Block Model
本文研究MPC模型下SBM的精确社区恢复,提出基于r步邻域统计比较的并行算法,在更一般的低内存s-空间模型中改进轮数、空间及参数条件。
2023-08-14 cs.DC cs.DS
Massively Parallel Correlation Clustering in Bounded Arboricity Graphs
识别集合中相似元素的聚类是数据分析中的常见任务。随着数据量的巨大增长和单处理器速度的物理限制,有必要寻找有效的并行聚类算法。本文研究了大规模并行计算(MPC)模型下有界荫度图的相关聚类问题。更具体地说,我们给出了一个完全图,其中的边是正的或负的,表明顶点对是相似的还是不相似的。任务是将顶点划分为具有尽可能少的分歧的簇。也就是说,我们希望最小化正的簇间边缘和负的簇内边缘的数量。考虑一个输入图$G$在$n$的顶点上,使得正边诱导出一个$λ$ -arboric图.我们的主要结果是一个3-近似($\textit{in expectation}$)算法的相关聚类,运行在$\mathcal{O}(\log λ\cdot \textrm{poly}(\log \log n))$ MPC轮的$\textit{strongly sublinear memory regime}$。这是通过将有界荫度图上的相关聚类的结构特性与Fischer和Noever(SODA '18)对随机贪婪MIS的见解以及Ailon、Charikar和Newman(STOC '05)的$\texttt{PIVOT}$算法相结合来获得的。结合已知的图匹配算法,我们的结构属性也意味着一个精确的算法和算法与$\textit{worst case}$ $(1+ε)$ -近似保证在特殊情况下的森林,其中$λ=1$。
2021-08-06 cs.DC cs.DS
Almost 3-Approximate Correlation Clustering in Constant Rounds
我们研究相关聚类的并行算法。$n$对象中的每一对都被标记为“相似”或“不相似”。目标是将对象划分为任意多个聚类,同时最小化与标签不一致的数量。我们的主要结果是一个算法,对于任何$ε> 0$获得$(3+ε)$ -近似在$O(1/ε)$轮(模型,如大规模并行计算,本地和半流)。这是平行相关聚类的丰富文献的一个顶点。一方面,近似(几乎)匹配组合算法的自然障碍3。另一方面,该算法的轮复杂度基本上是恒定的。为了实现这一结果,我们引入了一个简单的$O(1/ε)$轮并行算法。我们的主要结果是提供了一个分析该算法,表明它实现了$(3+ε)$ -近似。我们的分析借鉴了新的连接到次线性时间算法。具体来说,它建立在吉田,山本和伊藤[STOC'09]关于限制贪婪最大独立集的“查询复杂性”的工作上。据我们所知,这是该方法在分析任何算法的近似比中的第一个应用。
2022-05-07 cs.DC cs.DS
Parallel Graph Algorithms in Constant Adaptive Rounds: Theory meets Practice
我们研究基本的图形问题,如图的连通性,最小生成森林(MSF),和近似最大(重量)匹配在分布式设置。特别是,我们专注于自适应大规模并行计算(AMPC)模型,这是一个理论模型,捕获MapReduce的计算与分布式哈希表增强。我们展示了第一个AMPC算法的所有研究的问题,运行在一个恒定的轮数,并只使用$O(n^ε)$空间每台机器,其中$0 < ε< 1$。我们的研究结果改进了AMPC模型中的先前结果,以及MPC模型中最知名的结果,MPC模型是支撑许多流行的分布式计算框架(如MapReduce,Hadoop,Beam,Pregel和GitHub)的理论模型。最后,我们提供了一个经验比较的算法在MPC和AMPC模型中的容错分布式计算环境。我们经验评估我们的算法上的一组大型现实世界的图形,并表明,我们的AMPC算法可以实现优化MPC基线的运行时间和轮的复杂性的改善。
2020-09-24 cs.DC cs.DS
Improved MPC Algorithms for MIS, Matching, and Coloring on Trees and Beyond
我们提出了$O(\log\log n)$轮可扩展的大规模并行计算算法的最大独立集和最大匹配,在树和更一般的图形有界荫度,以及为常数着色树。遵循标准,通过可扩展MPC算法,我们意味着这些算法可以在对于任何正常数$δ<1$具有与$n^δ$一样小的容量/存储器的机器上工作。我们的结果改进了Behnezhad等人[PODC'19]的$O(\log^2\log n)$轮算法。此外,我们的匹配算法可能是最佳的,因为其边界匹配Ghaffari,Kuhn和Uitto [FOCS'19]的$Ω(\log\log n)$条件下限。
2020-08-10 cs.DC cs.DS
Simple, Deterministic, Constant-Round Coloring in the Congested Clique
我们解决的复杂性的$(Δ+1)$ -着色和$(Δ+1)$ -列表着色问题的拥塞CLIQUE模型,提出了一个简单的确定性算法运行在一个恒定的轮数。这与最近由Chang等人(PODC'19)提出的突破性的随机化恒定轮$(Δ+1)$ -列表着色算法的复杂性相匹配,并且显著地改进了Parter(ICALP'18)的现有技术水平的$O(\log Δ)$ -轮确定性$(Δ+1)$ -着色界。我们的算法的一个显着的属性是它的简单性。鉴于国家的最先进的随机算法,这个问题是基于相当复杂的局部着色算法的张等人。(STOC'18),我们的算法可以描述在短短几行。在高层次上,它应用了递归过程的仔细去随机化,该过程将节点及其相应的调色板划分为单独的bin。我们表明,经过$O(1)$递归步骤,剩余的未着色的子图内的每个bin具有线性大小,因此可以解决本地收集到一个单一的节点。该算法也可以在大规模并行计算(MPC)模型中实现,只要每个机器具有线性(在$n$中,输入图中的节点数)空间。我们还展示了我们的算法的MPC制度中,机器具有次线性空间的扩展:我们提出了第一个确定性的$(Δ+1)$ -列表着色算法设计的次线性空间MPC,它运行在$O(\log Δ+ \log\log n)$轮。
2020-09-13 cs.DC cs.DS
Improved Deterministic $(Δ+1)$-Coloring in Low-Space MPC
针对$n$ -顶点图的$(Δ+1)$ -着色问题,提出了一种确定性的$O(\log \log \log n)$ -轮低空间大规模并行计算(MPC)算法.在这个模型中,每台机器都有一个大小为$n^ϕ$的次线性局部存储器,用于存储任意常数$ϕ\in (0,1)$。我们的算法工作在宽松的设置下,每个机器被允许执行指数(在$n^ϕ$)本地计算,同时尊重$n^ϕ$空间和带宽的限制。我们的关键技术贡献是Chang-Li-Pettie对独创性的$(Δ+1)$ -着色算法进行了新的去随机化(STOC 2018,SIAM J. COMPUT. 2020年)。Chang-Li-Pettie算法在$T_{local}=poly(\log\log n)$轮中运行,这为局部模型中的问题设置了最先进的随机轮复杂度。我们的去随机化采用的工具,最显着的伪随机发生器(PRG)和有界独立哈希函数的组合。$O(\log\log\log n)$轮的实现轮复杂度与$\log(T_{local})$的界限相匹配,该界限目前为该模型中的局部可检查问题的所有已知随机化算法提供上限障碍。此外,没有确定性的亚对数低空间MPC算法的$(Δ+1)$着色问题是以前已知的。
2021-12-10 cs.DC cs.DS
Efficient Deterministic Distributed Coloring with Small Bandwidth
我们发现,$(degree+1)$ -列表着色问题可以在\CONGEST模型中的$O(D \cdot \log n \cdot\log^2Δ)$轮中确定性地解决,其中$D$是图的直径,$n$是节点数,$Δ$是最大度。使用Rozhoregon和Ghaffari [STOC 2020]最近的多周期时间确定性网络分解算法,这意味着第一个有效的(即,$\poly\log n$ -时间)确定性\CONGEST算法,用于$(Δ+1)$ -着色和$(\mathit{degree}+1)$ -列表着色问题.以前,最著名的算法需要$2^{O(\sqrt{\log n})}$轮,而不是基于网络分解。我们的技术也导致确定性的$(\mathit{degree}+1)$ -列表着色算法的拥塞集团和大规模并行计算(MPC)模型。对于拥塞集团,我们得到了一个时间复杂度为$O(\logΔ\cdot\log\logΔ)$的算法,对于MPC模型,我们得到了线性记忆区域的轮复杂度为$O(\log^2Δ)$的算法和次线性记忆区域的轮复杂度为$O(\log^2Δ+ \log n)$的算法.
2020-04-07 cs.DC cs.DS
Simulations between Strongly Sublinear MPC and Node-Capacitated Clique
cispa(CISPA赫尔辛基信息安全中心);upb(波鸿大学)
研究强亚线性MPC模型与节点容量聚类模型之间的模拟可能性及限制。
2026-08-19 cs.DC
Faster Algorithms for Edge Connectivity via Random $2$-Out Contractions
我们提供了一个简单的新的随机收缩的方法来解决简单无向图的全局最小割问题。收缩利用来自每个顶点的2-out边缘采样,而不是标准的均匀边缘采样。我们展示了我们的新方法的力量,通过获得更好的算法的顺序,分布式和并行计算模型。我们的最终结果包括以下随机算法计算边缘连接的高概率:-两个顺序算法的复杂性$O(m \log n)$和$O(m+n \log^3 n)$。这些改进了一长串的发展,包括Karger的著名$O(m \log^3 n)$算法[STOC'96]和Henzinger等人的最新$O(m \log^2 n (\log\log n)^2)$算法[SODA'17]。此外,我们的$O(m+n \log^3 n)$算法是最佳的,只要$m = Ω(n \log^3 n)$。在我们新的时间界限whp内,我们还可以构造所有最小割的仙人掌表示。--$Õ(n^{0.8} D^{0.2} + n^{0.9})$轮分布式算法,其中D表示图直径。这大大改进了Daga等人[STOC'19]的最近突破,其实现了$Õ(n^{1-1/353}D^{1/353} + n^{1-1/706})$的轮复杂度,因此提供了用于精确计算边缘连通性的第一个次线性分布式算法。--第一个$O(1)$轮算法,用于大规模并行计算设置,每台机器具有线性内存。
2019-09-02 cs.DC cs.DS
Coresets Meet EDCS: Algorithms for Matching and Vertex Cover on Massive Graphs
随着大规模图变得越来越普遍,对解决大型数据集上的经典图问题(如最大匹配和最小顶点覆盖)的可扩展算法的需求迅速增长。对于大量输入,已经引入了几种不同的计算模型,包括流式模型、分布式通信模型和作为MapReduce风格计算的常见抽象的大规模并行计算(MPC)模型。在每个模型中,除了更传统的近似比之外,还根据资源(例如所使用的空间或所需的通信轮次)来分析算法。在本文中,我们给出了一个统一的方法,产生更好的近似算法的匹配和顶点覆盖在所有这些模型。重点包括:* 使用次二次空间的随机到达流中的匹配的第一个通过,显著优于2近似,即使用$O(n^{1.5})$空间用于常数$ε> 0$的$(1.5+ε)$近似流算法。* MPC模型中的第一个2轮、优于2的近似匹配,每个机器使用次二次空间,即对于常数$ε> 0$,每个机器具有$O(\sqrt{mn} + n)$存储器的$(1.5+ε)$近似算法。通过建立在我们的统一的方法,我们进一步开发并行算法的MPC模型,给出了一个$(1 + ε)$ -近似匹配和$O(1)$ -近似顶点覆盖只有$O(\log\log{n})$ MPC轮和$O(n/poly\log{(n)})$内存每台机器。这些结果解决了Czumaj等人最近的论文[STOC 2018]中提出的多个未决问题。
2018-12-27 cs.DC cs.DS
Conditionally Optimal Parallel Coloring of Forests
本文提出了低空间MPC模型下首个森林3-着色条件最优确定性算法,运行在$O(\log \log n)$轮次并使用最优全局空间,其核心技术是计算森林有序层划分,并由此衍生出最大独立集和最大匹配的最优确定性算法。
2023-08-01 cs.DC cs.DS
$O(1)$-Round MPC Algorithms for Multi-dimensional Grid Graph Connectivity, EMST and DBSCAN
本文提出$O(1)$轮MPC算法,解决多维网格图连通性、近似EMST和DBSCAN聚类,实现确定性边级近似,优于现有期望近似。
2025-01-21 cs.CC cs.CG cs.DC
Topology Dependent Bounds For FAQs
在本文中,我们证明了在Chattopadhyay等人[FOCS 2014,SODA 2017]考虑的模型下,Abo Khamis等人[PODS 2016]在同步分布式网络中研究的计算函数聚合函数(FAQs)所需的轮数的拓扑相关界。与最近在大规模并行计算模型中计算数据库查询的工作不同,在Chattopadhyay等人的模型中,节点只能经由专用点对点信道通信,并且我们对在{ \em arbitrary}通信拓扑上工作的边界感兴趣。这是第一个工作,考虑更实际的动机问题,在这个分布式模型。为了便于阐述,本文重点讨论了两个特殊的问题:布尔连接查询(BCQ)和计算概率图模型(PGMs)中的变量/因子边际。我们得到严格的界限轮数需要计算这样的查询,只要底层超图的查询是$O(1)$ -退化,并有$O(1)$ -arity。特别是,$O(1)$ -退化条件涵盖了大多数研究充分的查询,这些查询在集中式计算模型中是可有效计算的,比如具有恒定树宽的查询。这些紧边界依赖于一个新的概念的宽度(即内部节点宽度)的广义超树分解(GHD)的无圈超图,它最小化的内部节点的数量在一个子类的GHD。据我们所知,在理论数据库文献中还没有明确研究过这个宽度。最后,我们考虑的问题,计算一个向量的产品与一个链的矩阵,并证明其轮复杂性的紧界(在有限域的两个元素)使用一种新的最小熵为基础的参数。
2020-03-12 cs.CC cs.DB cs.DC
Fast Dynamic Programming in Trees in the MPC Model
本研究提出MPC模型下的确定性算法,以O(log D)轮求解树中多种动态规划及图优化等问题,运行时间与节点数无关,严格优于现有两类算法。
2023-05-05 cs.DC cs.DS
Near-Optimal Distributed 2-Ruling Sets on Graphs with Low Arboricity
TU Graz(格拉茨工业大学);Aalto University(阿尔托大学)
针对低树度图,提出在LOCAL模型中几乎最优的随机算法,在O(log log n)轮内高概率计算2-统治集,改进指数级并匹配下界。
2026-09-15 cs.DC cs.DS
Scalable and Distributed Silhouette Approximation
KTH Royal Institute of Technology(皇家理工学院);University of Padova(帕多瓦大学)
提出基于采样的算法,以O(nkε^{-2}ln(nk/δ))次距离计算估计k-聚类的局部和全局轮廓,提供可证明的加性误差保证,并设计MapReduce和MPC框架下的分布式实现。
2026-07-03 cs.DC cs.DS cs.LG