Dynamic Graph Algorithms with Batch Updates in the Massively Parallel Computation Model
我们研究了大规模并行计算模型下的动态图算法,这是受到实际数据处理系统的启发。我们的目标是提供算法,可以有效地处理大批量的边缘插入和删除。我们展示的算法,需要更少的回合来更新的解决方案,如最小生成森林,2-边连接组件,最大匹配比将需要由他们的静态同行从头开始计算。它们工作在最严格的内存制度,其中每台机器的本地内存是强次线性的图形顶点的数量。改进它们可以有效处理的批的大小将改进稀疏图上的已知静态算法的轮复杂度。我们的算法可以处理批量更新的大小$Θ(S)$,最小生成森林和2-边连接组件,和$Θ(S^{1-\varepsilon})$,最大匹配,在$O(1)$轮,其中$S$是一台机器的本地内存。
2021-01-11 cs.DC cs.DS
Dynamic Algorithms for the Massively Parallel Computation Model
大规模并行计算(MPC)模型在过去十年中越来越流行,现在被视为处理大规模数据的标准模型。该模型的一个显著缺点是,它假设在静态数据集上工作,而在实践中,真实世界的数据集不断演变。为了克服这个问题,在本文中,我们开始在MPC模型的动态算法的研究。我们首先讨论了一个动态的并行模型的主要要求,我们展示了如何适应经典的MPC模型来捕捉它们。然后分析了经典动态算法与MPC模型中动态算法之间的联系。最后,我们提供了新的高效的动态MPC算法的各种基本图的问题,包括连接,最小生成树和匹配。
2019-05-22 cs.DC cs.DS
Massively Parallel Approximate Distance Sketches
允许有效距离估计的数据结构(距离预言、距离草图等)已经被广泛研究,特别是在集中式模型和经典的分布式模型(如CONGEST)中研究得很好。我们开始他们的研究在较新的(可以说是更现实的)分布式计算模型:拥塞集团模型和大规模并行计算(MPC)模型。我们在这两个模型中提供了有效的构造,但我们的核心结果是MPC。在MPC中,我们给出了两个主要结果:构造拉伸/空间最佳距离草图但需要(小)多项式数量的轮次的算法,以及构造拉伸较差但只需要多对数轮次的距离草图的算法。一路上,我们表明,其他有用的组合结构也可以计算在MPC。特别是,我们用来构建距离草图的一个关键组件是Elkin和Neiman(2016)的跳集的MPC构造。这一结果有额外的应用,如第一次多项式时间算法恒定近似单源最短路径加权图在低内存MPC设置。
2019-09-12 cs.DC cs.DS
A massively parallel algorithm for constructing the BWT of large string sets
我们提出了一个新的可扩展的,轻量级的算法,以逐步构建BWT和FM索引的大型字符串集,如下一代测序。该算法是专为大规模并行,可以有效地利用低容量高带宽的内存和较慢的外部系统内存的GPU加速系统的典型组合。特别地,对于来自具有σ符号的字母表的n个字符的字符串集合,它使用恒定量的高带宽存储器和至多3n log(σ)位的系统存储器。考虑到深存储层次结构正在成为高性能计算体系结构的普遍特征,我们认为这是一个相关的特征。该实现可以处理任意长度的读段,并且对于短和长基因组读段,分别比现有技术快2倍和6.5倍
2014-10-02 cs.DC cs.DS
Massively parallel read mapping on GPUs with PEANUT
我们提出了PEANUT(PEEEL对齐UTility),一个高度并行的基于GPU的读取映射器,具有几个显着的功能,包括一个新的q-gram索引(称为q-组索引),具有小内存占用,建立在飞行中的读取和输出的可能性都最好的命中或所有命中的读取。特别为GPU架构设计算法,我们能够在几个关键步骤中达到最大的核心占用率。我们的基准测试表明,PEANUT在速度和灵敏度方面优于其他最先进的映射器。该软件可在http://peanut.readthedocs.org上获得。
2014-03-07 cs.DC cs.DS q-bio.QM
Massively Parallel Algorithms and Hardness for Single-Linkage Clustering Under $\ell_p$-Distances
我们提出了大规模并行(MPC)算法和硬度的近似结果计算$n$输入$d$维向量的单链聚类下的汉明,$\ell_1, \ell_2$和$\ell_\infty$距离。我们所有的算法运行在$O(\log n)$轮MPC的任何固定的$d$和实现$(1+ε)$ -近似的所有距离(除了汉明,我们显示一个确切的算法)。我们还显示了恒定因素的不可近似性结果$o(\log n)$轮算法下的标准MPC硬度假设(足够大的尺寸取决于所使用的距离)。我们的算法在Apache Spark中的实现效率通过在各种数据集上的实验来证明,这些数据集表现出几个数量级的加速。
2018-03-25 cs.DB cs.DC cs.DS
Improved Massively Parallel Computation Algorithms for MIS, Matching, and Vertex Cover
我们提出了$O(\log\log n)$轮算法的大规模并行计算(MPC)模型,与$\tilde{O}(n)$内存每台机器,计算一个最大的独立集,一个$1+ε$近似的最大匹配,和一个$2+ε$近似的最小顶点覆盖,任何$n$顶点图和任何常数$ε>0$。这些改进了现有技术如下:-我们的MIS算法导致一个简单的$O(\log\log Δ)$ -轮MIS算法在分布式计算的拥塞集团模型,它改进了$\tilde{O}(\sqrt{\log Δ})$轮算法的Ghaffari [PODC'17]。- 我们的$O(\log\log n)$ -圆形$(1+ε)$ -近似最大匹配算法简化或改进了以下先前的工作:$O(\log^2\log n)$ -圆形$(1+ε)$ -Czumaj等人的近似算法[STOC'18]和$O(\log\log n)$ -圆形$(1+ε)$ -Assadi等人的近似算法[SODA'19]。- 我们的$O(\log\log n)$ -圆形$(2+ε)$ -近似最小顶点覆盖算法改进了Assadi等人的$O(\log\log n)$ -圆形$O(1)$ -近似[arXiv'17]。
2022-03-17 cs.DC cs.DS
Massively Parallel Algorithms for $b$-Matching
本文提出了一个$O(\log\log \bar{d})$轮大规模并行算法,用于最大加权$b$ -匹配的$1+ε$近似,每台机器使用近线性内存。这里,$\bar{d}$表示图中的平均度,并且$ε$是任意小的正常数。回想一下,$b$匹配是匹配问题的自然和充分研究的推广,其中允许不同的顶点在匹配中具有多个(和不同数量的)入射边。具体地,每个顶点$v$被给予正整数预算$b_v$,并且在匹配中它可以具有多达$b_v$的关联边。先前,对于加权匹配的$1+ε$近似和最大匹配,存在具有轮复杂度$O(\log\log n)$或$O(\log\log Δ)$的已知算法,其中$Δ$表示最大程度[Czumaj等人,STOC'18,Ghaffari等人PODC'18; Assadi等人SODA'19; Behnezhad等人FOCS'19; Gamlath等人PODC'19],但是这些算法没有扩展到更一般的$b$匹配问题。
2022-11-14 cs.DC cs.DS
New lower bounds for Massively Parallel Computation from query complexity
Roughgarden,Vassilvitskii和Wang(JACM 18)最近介绍了一个新的框架,用于使用布尔函数复杂度技术证明大规模并行计算的下界。我们以两种不同的方式扩展了他们的框架,以捕获大规模并行计算的两个共同特征:$\circ$自适应性,其中机器可以在整个计算执行过程中写入和自适应地读取共享内存。Behnezhad等人(SPAA 19)最近的工作表明,自适应性可以显着改善许多中心图问题的轮复杂性。$\circ$ Promise问题,其中算法只需要在某些输入上成功。这些输入可能具有特别感兴趣的特殊结构,或者它们可能代表整个问题的困难实例。使用这个扩展的框架,我们给出了第一个无条件下界的复杂性区分输入图是一个周期的长度$n$或两个周期的长度$n/2$。1v 2-循环问题是大规模并行计算研究中的一个核心问题。我们证明,任何自适应算法的1v 2周期问题的I/O能力$O(n^{\varepsilon})$每台机器需要$Ω(1/\varepsilon)$轮,匹配最近的上限Behnezhad等人。除了加强大规模并行计算和布尔函数复杂性之间的联系,我们还开发了新的机器,后者的原因。我们证明的核心是1v 2-循环问题的查询复杂度和近似证书复杂度的最佳下界。
2020-01-05 cs.CC cs.DC cs.DS
Improved Deterministic Connectivity in Massively Parallel Computation
关于大规模并行计算模型中的连接性的一系列研究在Andoni等人的开创性工作中达到了高潮。[FOCS'18]和Behnezhad等人。[FOCS'19]。他们提供了一个低空间MPC的随机算法,并证明是最佳的轮复杂度$O(\log D + \log \log_{\frac m n} n)$和$O(m)$空间,对于图的$n$顶点与$m$边和直径$D$。令人惊讶的是,Coy和Czumaj [STOC'22]最近的结果显示了如何确定性地实现相同的结果。然而,不幸的是,他们的算法遭受大的本地计算时间。我们提出了一个确定性的连接算法,匹配的所有参数的随机算法,此外,显着减少了本地计算时间接近线性。我们的去随机化方法是基于减少所需的随机性,以允许一个更简单的高效搜索。虽然类似的随机性减少方法已经使用过,我们的结果不仅是惊人的简单,但它是第一个有效率的本地计算。这就是为什么我们认为它可以作为系统开发低内存MPC中计算高效的去随机化方法的起点。
2022-08-16 cs.DC cs.DS
Massively-Parallel Heat Map Sorting and Applications To Explainable Clustering
Sharif University of Technology(谢里夫理工大学)
本文提出了热图排序问题以在保持簇连通性的前提下重排与合并点及维度,证明了其NP难性,并给出了大规模并行计算模型下的常数轮次固定参数算法及NP难特例的近似算法,实证表明其优于k-means和DBSCAN。
2023-09-14 cs.DC cs.DS cs.LG
ParPaRaw: Massively Parallel Parsing of Delimiter-Separated Raw Data
解析对于各种用例都是必不可少的,例如流处理、批量加载和原始数据的原位查询。然而,计算密集型步骤通常构成数据摄取管道中的主要瓶颈,因为需要更多解析规则的输入解析对并行化具有挑战性。本文提出了一种在GPU上解析定界符分隔的数据格式的大规模并行算法。与现有技术不同,所提出的方法不需要初始顺序传递输入来确定线程的解析上下文。也就是说,从输入中间某处开始的线程应该如何解释某个符号(例如,是将逗号解释为逗号,还是将其解释为用双引号括起来的较大字符串的一部分)。而不是定制的方法,以一种单一的格式,我们能够执行一个大规模的并行FSM模拟,这是更灵活和强大的,支持更具表现力的解析规则具有普遍适用性。实现高达14.2 GB/s的解析速率,我们的实验评估与3584个核心的GPU上显示,所提出的方法是能够扩展到数千个核心及以上。通过端到端流传输方法,我们能够利用PCIe总线的全双工功能并隐藏数据传输的延迟。考虑到端到端的性能,该算法在短短0.44秒内解析4.8 GB,包括数据传输。
2020-04-15 cs.DB cs.DC cs.DS
Massively Parallel Dynamic Programming on Trees
动态规划是一种功能强大的技术,但不幸的是,这种技术通常具有内在的顺序性。也就是说,没有统一的方法来并行化使用动态规划的算法。在本文中,我们试图解决这个问题的大规模并行计算(MPC)模型,这是一个流行的抽象MapReduce类范例。我们的主要结果是一个算法框架,以适应一个大家庭的动态程序定义在树上。我们介绍了两类图的问题,承认动态规划解决方案的树木。我们把它们称为“(polylog)-可表达”和“线性-可表达”问题。我们表明,这两个类可以并行化在$O(\log n)$轮使用次线性数量的机器和次线性内存每台机器。为了实现这一结果,我们引入了一系列可以组合在一起的技术。为了说明我们的框架的通用性,我们在MPC的$O(\log n)$轮中实现了图问题的动态规划解决方案,例如最小二分法,$k$ -生成树,最大独立集,最长路径等,当输入图是树时。
2018-09-14 cs.DS
On the Hardness of Massively Parallel Computation
我们调查是否有内在的限制并行化(随机)大规模并行计算(MPC)模型,通过比较它与(顺序)RAM模型。作为我们的主要结果,我们证明了在MPC模型中存在本质上不可并行的硬函数。基于密码学中广泛使用的随机预言方法,利用在时间$t_h$中可计算的密码散列函数$h:\{0,1\}^n \rightarrow \{0,1\}^n$,证明了存在一个可以通过RAM算法在时间$O(T\cdot t_h)$和空间$S$中计算的函数,但是对于某些$c>1$,任何具有局部存储器大小$s < S/c$的MPC算法至少需要$\tildeΩ(T)$轮来计算该函数,即使在平均情况下,适用于各种参数$n \leq S \leq T \leq 2^{n^{1/4}}$。我们的结果几乎是最优的,在这个意义上,通过采取$T$是远远大于$t_h$,\textit{e.g.},$T$是次指数在$t_h$,计算功能,任何MPC算法的轮复杂度与小的本地存储器大小是渐近相同的(多对数因子)的RAM算法的时间复杂度。我们的结果是通过适应所谓的压缩参数从数据结构的下限和密码学文献的大规模并行计算的背景下。
2020-08-14 cs.DS
Massively Parallel Benders Decomposition for Correlation Clustering
University of Mannheim(曼海姆大学);Verisk(Verisk(威达信集团旗下数据分析机构))
我们解决的问题,图分割图像分割相关聚类(CC),我们把它作为一个整数线性规划(ILP)。我们重新制定优化的ILP,以便承认有效的优化,通过Benders分解,一个经典的技术,从运筹学。我们的Benders分解公式有许多子问题,每个子问题都与CC实例图中的一个节点相关联,这些子问题是并行解决的。每个Benders子问题强制执行循环不等式,对应于CC实例中相应节点的负权重边。除了标准Benders行之外,我们还生成Magnanti-Wong Benders行,以加速优化。我们的Benders分解方法提供了一个有前途的新途径来加速CC的优化,并允许大规模并行化。
2019-08-02 cs.CV cs.DS
Streaming Graph Algorithms in the Massively Parallel Computation Model
本研究率先在MPC模型下研究流图算法,设计出常数轮、满足强次线性内存限制的演化图处理算法,改进了此前需正比于图规模总空间的工作,实现了MPC资源的渐近最优利用。
2025-01-17 cs.DS
The Complexity of $(Δ+ 1)$Coloring inCongested Clique, Massively Parallel Computation,and Centralized Local Computation
我们提出了新的随机算法,提高了经典的$(Δ+1)$着色问题的复杂性,其推广$(Δ+1)$ -列表着色,在三个良好的研究模型的分布式,并行和集中式计算:分布式拥塞集团:我们提出了一个$O(1)$ -轮随机算法$(Δ+1)$ -列表着色的拥塞集团模型的分布式计算。这解决了这个问题的渐近复杂性。它还改进了Parter和Su [DISC'18]的$O(\log^\ast Δ)$轮随机化算法和Parter [ICALP'18]的$O((\log\log Δ)\cdot \log^\ast Δ)$轮随机化算法.大规模并行计算:在强次线性内存的大规模并行计算模型下,提出了一个具有轮复杂度$O(\sqrt{\log\log n})$的$(Δ+1)$ -列表着色算法。该算法对于任何期望的常数$α>0$使用每台机器的$O(n^α)$的存储器,以及$\widetilde{O}(m)$的总存储器,其中$m$是图的大小。值得注意的是,这是第一个着色算法与亚对数轮复杂度,在次线性记忆制度的MPC。对于MPC的准线性记忆机制,Assadi等人[SODA'19]最近给出了$O(1)$轮算法。集中式本地计算:我们表明,$(Δ+1)$ -列表着色可以解决$Δ^{O(1)} \cdot O(\log n)$查询复杂度,在集中式本地计算模型。集中式局部计算模型中的$(Δ+1)$ -列表着色的现有技术是基于已知的并行计算算…
2018-11-05 cs.DS
Massively Parallel and Dynamic Algorithms for Minimum Size Clustering
在本文中,我们研究了$r$ -聚集问题,一个自然制定的最小尺寸聚类度量空间。$r$ -聚集的目标是将$n$点划分为簇,使得每个簇的大小至少为$r$,并且簇的最大半径最小化。这个额外的约束完全改变了问题的算法性质,许多聚类技术都失败了。以前的动态和并行算法也没有达到理想的复杂度。我们提出的算法在大规模并行计算(MPC)模型和动态设置。我们的MPC算法处理来自欧几里德空间$\mathbb{R}^d$的输入点。对于任意小的常数$\varepsilon,γ> 0$,它使用全空间$O(n^{1+γ}\cdot d)$计算$r$-道集的$O(1)$-近似解。此外,我们的算法是完全可扩展的,即,每台机器的内存没有下限。我们的动态算法保持一个$O(1)$ -近似$r$ -收集的解决方案下插入/删除的点在一个度量空间的双倍维数$d$。更新时间是$r \cdot 2^{O(d)}\cdot \log^{O(1)}Δ$,查询时间是$2^{O(d)}\cdot \log^{O(1)}Δ$,其中$Δ$是最大距离和最小距离之间的比率。
2021-06-04 cs.DS
Algorithms for a Topology-aware Massively Parallel Computation Model
大规模并行数据处理中的大多数先前工作假设同质性,即,每个计算单元具有相同的计算能力,并且可以以相同的等待时间和带宽与每个其它单元通信。然而,这种统一拓扑的强假设在实际环境中很少成立,其中计算单元通过复杂网络连接。为了解决这个问题,Blanas等人最近提出了一种拓扑感知的大规模并行计算模型,该模型在建模成本中集成了网络结构和异构性。该网络被建模为有向图,其中每条边与成本函数相关联,该成本函数取决于两个端点之间传输的数据。计算在同步循环中进行,并且每个循环的成本被测量为网络中所有边缘上的最大成本。在这项工作中,我们采取的第一步,调查三个基本的数据处理任务,在这个拓扑感知的并行模型:集合相交,carnival产品,排序。我们专注于网络拓扑结构,树拓扑结构,并提出了两个下界,以及(渐近)匹配的上界。我们的算法的最优性是相对于网络节点之间的初始数据分布,而不是假设最坏情况下的分布在以前的结果。除了我们的结果的理论最优性之外,我们的协议很简单,使用恒定的轮数,我们相信也可以在实际环境中实现。
2020-09-24 cs.DB cs.DS
Massively Parallel Computation on Embedded Planar Graphs
许多经典的图问题不能在大规模并行计算(MPC)环境中解决,每个机器具有强次线性空间和$o(\log n)$轮,除非1-vs-2循环猜想是假的。即使在平面图上也是如此。这样的问题包括,例如,计数连接组件,bipartition,最小生成树问题,(近似)最短路径,和(近似)直径/半径。在本文中,我们展示了一种绕过这种限制的方法。具体来说,我们表明,如果我们有一个“好”(例如,直线)嵌入的输入图,所有提到的问题都可以解决与$O(n^{2/3+ε})$空间每台机器在$O(1)$轮。结合现有的算法计算的德洛内三角剖分剖分,我们的研究结果意味着MPC算法的精确欧几里德最小生成三(EMST),使用$O(n^{2/3 + ε})$空间每台机器和完成$O(1)$轮。这是对直接使用标准Borvka算法和Goolich的Dauleanay三角测量算法[SODA 1997]的首次改进,该算法会产生$Θ(\log n)$轮次。这也部分否定了Andoni,Nikolov,Onak和Yaroslavtsev [STOC 2014]的问题,要求精确EMST的下限。我们扩展了我们的算法工作与嵌入组成的曲线是不是“太弯曲”(正式的总绝对曲率)。我们这样做,通过一个新的引理,我们相信是独立的利益,并可用于参数化其他几何问题的总绝对曲率。我们还提出了几个开放的问题,大规模并行计算平面图。
2022-11-21 cs.DS