Simulating Parallel Algorithms in the MapReduce Framework with Applications to Parallel Computational Geometry
在本文中，我们描述了高效的MapReduce模拟的BSP和PRAM模型中指定的并行算法。我们还提供了一些应用这些模拟结果的问题，并行计算几何的MapReduce框架，从而导致有效的MapReduce算法排序，1维所有最近邻，2维凸包，3维凸包，和固定维线性规划。对于reducer的缓冲区大小为$B=O(n^ε)$的情况，对于一个小的常数$ε>0$，我们所有的MapReduce算法都以恒定的轮数运行，并且具有线性大小的消息复杂度，同时以高概率保证所有reducer列表的大小为$O(B)$。
2010-04-27 cs.CG cs.DC cs.DS
Sorting, Searching, and Simulation in the MapReduce Framework
在本文中，我们从算法的角度研究MapReduce框架，并通过设计和分析基本排序，搜索和模拟问题的高效MapReduce算法来证明我们的方法的有用性。本研究的目的是最终将MapReduce框架置于与著名的PRAM和BSP并行模型相同的理论基础上，这将有利于MapReduce算法的理论和实践。我们描述了高效的MapReduce算法排序，多搜索，并在BSP和CRCW PRAM模型中指定的并行算法的模拟。我们还提供了一些应用这些结果的问题并行计算几何的MapReduce框架，从而导致有效的MapReduce算法排序，2-和3-维凸包，和固定维线性规划。对于映射器和归约器的内存/消息I/O大小为$M=Θ(N^ε)$的情况，对于一个小的常量$ε>0$，我们为这些应用程序设计的所有MapReduce算法都以常量轮数运行。
2011-01-10 cs.DC
Parallel Graph Algorithms in Constant Adaptive Rounds: Theory meets Practice
我们研究基本的图形问题，如图的连通性，最小生成森林（MSF），和近似最大（重量）匹配在分布式设置。特别是，我们专注于自适应大规模并行计算（AMPC）模型，这是一个理论模型，捕获MapReduce的计算与分布式哈希表增强。我们展示了第一个AMPC算法的所有研究的问题，运行在一个恒定的轮数，并只使用$O(n^ε)$空间每台机器，其中$0 < ε< 1$。我们的研究结果改进了AMPC模型中的先前结果，以及MPC模型中最知名的结果，MPC模型是支撑许多流行的分布式计算框架（如MapReduce，Hadoop，Beam，Pregel和GitHub）的理论模型。最后，我们提供了一个经验比较的算法在MPC和AMPC模型中的容错分布式计算环境。我们经验评估我们的算法上的一组大型现实世界的图形，并表明，我们的AMPC算法可以实现优化MPC基线的运行时间和轮的复杂性的改善。
2020-09-24 cs.DC cs.DS
Fast Clustering using MapReduce
聚类问题有许多应用，并且随着数据大小的增加而变得更具挑战性。在本文中，我们考虑设计可用于MapReduce的聚类算法，MapReduce是处理大型数据集的最流行的编程环境。我们专注于实际和流行的聚类问题，$k$ -中心和$k$ -中位数。我们开发了快速聚类算法与常数因子近似保证。从理论的角度来看，我们给出了第一个分析，表明几个聚类算法是在$\mathcal{MRC}^0$，一个理论MapReduce类引入Karloff等人。\cite{KarloffSV10}。我们的算法使用采样来减少数据的大小，他们运行一个耗时的聚类算法，如本地搜索或劳埃德算法的结果数据集。我们的算法有足够的灵活性，可以在实践中使用，因为它们运行在一个恒定数量的MapReduce轮。我们通过使用我们的算法进行实验来补充这些结果。我们比较经验的性能，我们的算法的几个顺序和并行算法的$k$中位数问题。实验结果表明，我们的算法的解决方案是相似的，或优于其他算法的解决方案。此外，在足够大的数据集上，我们的算法比我们测试的其他并行算法更快。
2011-09-07 cs.DC cs.DS
Parallel Algorithms for Summing Floating-Point Numbers
n个浮点数的精确求和问题是一个基本问题，在大规模模拟和计算几何中有许多应用。不幸的是，由于标准浮点运算中的舍入误差，这个问题变得非常具有挑战性。此外，所有现有的解决方案都依赖于顺序算法，其不能扩展到需要处理的巨大数据集。本文提出了几种有效的并行算法，用于对n个浮点数求和，从而产生一个忠实的舍入浮点表示的总和。我们介绍了PRAM、外部内存和MapReduce模型中的算法，并且还提供了对MapReduce算法的实验分析，因为它们的简单性和实际效率。
2016-05-18 cs.DC cs.DS
Accurate MapReduce Algorithms for $k$-median and $k$-means in General Metric Spaces
基于中心的聚类是数据分析的基础，对于大型数据集来说变得非常具有挑战性。在本文中，我们专注于流行的$k$ -中位数和$k$ -意味着变种，给定一组$P$的点从度量空间和一个参数$k<|P|$，需要确定一组$S$的$k$中心最小化，分别是距离和距离的平方和的总和，所有点在$P$从他们最近的中心。我们的具体重点是一般的度量空间，这是合理的，要求中心属于输入集（即，$S \subseteq P$）。我们提出了基于核心集的3轮分布式近似算法的上述问题使用MapReduce计算模型。该算法是相当简单的和obligantly适应的内在复杂性的数据集，捕获的双重维度$D$的度量空间。值得注意的是，该算法获得的近似比，可以任意接近那些可实现的最知名的多项式时间顺序近似，他们是非常小的空间效率为$D$，需要本地存储器的大小基本上是次线性的输入大小。据我们所知，没有以前的分布式方法能够在一般度量空间中获得类似的质量性能保证。
2019-09-29 cs.DC cs.DS
Sparse Matrix Multiplication in the Low-Bandwidth Model
我们研究低带宽模型中的矩阵乘法：有$n$计算机，我们需要计算两个$n \times n$矩阵的乘积。最初，计算机$i$知道每个输入矩阵的行$i$。在一个通信回合中，每台计算机可以发送和接收一个$O(\log n)$位消息。最后，计算机$i$必须输出乘积矩阵的行$i$。我们试图理解这个问题的复杂性，在均匀稀疏的情况下：每个输入矩阵的每一行和每一列最多有$d$非零，在产品矩阵，我们只需要知道在每一行或每一列中的最多$d$元素的值。这正是我们所拥有的设置，例如，当我们在最大度$d$的图中应用矩阵乘法进行三角形检测时。我们专注于支持的设置：矩阵的结构是已知的，只有非零元素的数值是未知的。有一种简单的算法可以在$O(d^2)$轮中解决该问题，但是对于大的$d$，已知存在更好的算法;在适度密集的状态下，该问题可以在$O(dn^{1/3})$通信循环中解决，并且对于非常大的$d$，主要解决方案是使用$O(n^{1.158})$通信循环的快速矩阵乘法算法（用于支持快速矩阵乘法的域和环上的矩阵乘法）。在这项工作中，我们表明，有可能克服二次障碍的所有值的$d$：我们提出了一个算法，解决了这个问题，在$O(d^{1.907})$轮的领域和环支持快速矩阵乘法和$O(d^{1.927})$轮的半环，独立的$n$。
2022-06-01 cs.DC cs.DS
Scalable Distributed Algorithms for Size-Constrained Submodular Maximization in the MapReduce and Adaptive Complexity Models
Texas A&M University（德克萨斯农工大学）；Florida State University（佛罗里达州立大学）
该研究针对规模约束单调子模最大化问题，证明多类亚自适应算法满足MapReduce模型的一致性要求，提出首个线性查询复杂度的分布式算法，并给出提升MR算法最大基数约束的方法。
2024-09-16 cs.DC cs.DS cs.LG
Approximating Edit Distance in Truly Subquadratic Time: Quantum and MapReduce
两个字符串之间的编辑距离定义为将一个字符串转换为另一个字符串所需的最小插入、删除和替换次数。在次二次时间内近似编辑距离是“组合模式匹配领域最大的未解决问题之一“。我们的主要结果是一个量子常数近似算法计算的编辑距离在真正的次二次时间。更准确地说，我们给出了一个$O(n^{1.858})$量子算法，近似的编辑距离内的一个因素$7$。我们进一步扩展这一结果的$O(n^{1.781})$量子算法，在一个较大的常数因子内近似的编辑距离。我们的解决方案是基于一个框架，在并行设置近似编辑距离。这个框架需要一个黑盒算法，它可以同时计算几个较小字符串的距离。对于一个量子算法，我们减少了黑盒\textit{metric estimation}，并提供有效的算法来近似它。我们进一步表明，这个框架使我们能够近似编辑距离在分布式设置。为此，我们提供了一个MapReduce算法近似编辑距离内的一个因素$3$，次线性许多机器和次线性内存。此外，我们的算法运行在对数轮数。
2018-04-25 cs.DC cs.DS quant-ph
Solving $k$-center Clustering (with Outliers) in MapReduce and Streaming, almost as Accurately as Sequentially
基于中心的聚类是数据分析的基础，对于大型数据集来说变得非常具有挑战性。在本文中，我们专注于流行的$k$ -中心变量，给定一组$S$的点从一些度量空间和一个参数$k<|S|$，需要确定一个子集的$k$中心在$S$最小化的最大距离的任何点的$S$从其最近的中心。一个更一般的公式，介绍了处理噪声数据集，具有进一步的参数$z$，并允许高达$z$点的$S$（离群值）被忽略时，计算最大距离的中心。我们提出了基于核心集的2轮MapReduce算法的上述两个公式的问题，和1-通过流算法的情况下，离群值。对于任何固定的$ε>0$，算法产生的解决方案，其近似比是一个纯粹的加法项$ε$远离那些可实现的最知名的多项式时间顺序算法，结果大大提高后的国家的最先进的。我们的算法是相当简单，并适应于数据集的内在复杂性，捕获的双维度$D$的度量空间。具体来说，我们的分析表明，该算法变得非常空间效率的小（常数）$D$的重要情况下。这些理论结果得到了一组在真实世界和超过10亿个点的合成数据集上进行的实验的补充，这些实验表明，我们的算法在具有出色的可扩展性的同时，可以产生比现有算法更高质量的解决方案，并且它们还可以比现有算法更快地顺序实现。
2021-06-01 cs.DC cs.DS
Privacy-Preserving Secret Shared Computations using MapReduce
数据外包允许数据所有者将其数据保存在\emph{untrusted}云中，而这些云无法确保数据和/或计算的隐私。MapReduce是一个用于分布式容错数据处理的有用框架，它是为\emph{trusted}私有云开发的。本文提出了基于Shamir的秘密共享方案的数据外包算法，以及在使用MapReduce作为底层编程模型的同时执行隐私保护SQL查询的算法，例如计数，选择（包括范围选择），投影和连接。我们提出的算法防止对手知道数据库或查询，同时也防止输出大小和访问模式的攻击。有趣的是，我们的算法不涉及数据库所有者，它只创建和分发秘密共享一次，在回答任何查询，因此，数据库所有者也不能学习查询。逻辑和实验，我们评估以下参数的算法的效率：（\textit{i}）的通信轮数（用户和服务器之间），（\textit{ii}）的比特流的总量（用户和服务器之间），和（\textit{iii}）在用户和服务器的计算负载。\B
2019-08-06 cs.CR cs.DB cs.DC
Connected Components at Scale via Local Contractions
作为层次图聚类的基本工具，连通分量的计算一直是大规模数据采掘的核心问题。虽然许多已知的算法已经开发了这个问题，他们要么是不可扩展的，在实践中或缺乏强有力的理论保证的并行运行时间，即，通信轮数。到目前为止，经过验证的最好的保证是$\Oh(\log n)$，它与PRAM模型中的运行时间相匹配。在本文中，我们的目标是设计一个分布式算法，这个问题，以及在理论和实践中。特别是，我们提出了一个简单的算法的基础上收缩，并提供了一个可扩展的实现它在MapReduce。在理论方面，除了显示$\Oh(\log n)$收敛的所有图，我们证明了一个$\Oh(\log \log n)$并行运行时间具有高概率的某一类随机图。我们在MPC模型中工作，该模型捕获流行的并行计算框架，如MapReduce，Hadoop或Spark。在实践方面，我们表明，我们的算法优于最先进的MapReduce算法。为了证实其可扩展性，我们报告的经验结果图与数万亿的边缘。
2018-07-27 cs.DC cs.DS
MapReduce and Streaming Algorithms for Diversity Maximization in Metric Spaces of Bounded Doubling Dimension
给定度量空间中的点的数据集和整数$k$，多样性最大化问题需要确定使某个多样性目标度量最大化的$k$点的子集，例如，子集中两点之间的最小或平均距离。多样性最大化在计算上是困难的，因此只能期望近似的解决方案。虽然它的应用主要是在海量数据分析，大多数的研究集中在有序设置的多样性最大化。在这项工作中，我们提出了空间和通过/轮有效的多样性最大化算法的流和MapReduce模型，并分析其近似保证相关类的度量空间的有界倍维。与文献中的其他方法一样，我们的算法依赖于高质量核心集的确定，即，输入的（小得多的）子集，其包含对整个输入的最优解的良好近似。对于各种多样性的目标函数，我们的算法达到一个$(α+ε)$ -近似比，任何常数$ε>0$，其中$α$是最好的近似比实现的多项式时间，线性空间顺序算法相同的多样性目标。这大大提高了在流和MapReduce中通过一般度量空间的最先进算法可达到的近似比率。我们提供了大量的实验证据，证明我们的算法在现实世界和合成数据集上的有效性，扩展到超过10亿个点。
2017-01-23 cs.DC
Round Compression for Parallel Graph Algorithms in Strongly Sublinear Space
大规模并行计算（MPC）模型是流行的并行和分布式平台（如MapReduce，Hadoop或Spark）的理论框架。我们考虑在这个模型中计算一个大的匹配或小的顶点覆盖的任务时，每台机器的空间是$n^δ$为$δ\in (0,1)$，其中$n$是在输入图中的顶点数。对经典PRAM和20世纪80年代的分布式算法的直接模拟导致至少需要对数数量的MPC轮的算法。我们给出了第一个算法，打破了这个对数障碍，并运行在$\tilde O(\sqrt{\log n})$轮，只要总空间的顶点数至少稍微超线性。通过将自然剥离算法的若干轮重复压缩到在数学上更小数量的MPC轮来获得结果。每次我们表明，它足以考虑一个低程度的子图，其中局部邻域可以探索指数加速。我们的技术是相对简单的，也可以用来加速有界度图的分布式算法的模拟，并找到一个最大的独立集在有界荫度图。
2018-07-23 cs.DC cs.DS
Computing Exact Distances in the Congested Clique
本文给出了简单的分布式算法的基本问题计算图的距离在拥挤集团模型。我们的算法的主要组成部分之一是快速矩阵乘法，我们展示了一个$O(n^{1/3})$轮算法时，乘法需要在一个半环，和一个$O(n^{0.157})$轮算法时，可以在一个字段上执行的计算。我们建议用$κ$表示该模型中矩阵乘法的指数，从而给出$κ< 0.157$。我们展示了如何在$n$节点的加权图中计算$O(n^{1/3}\log{n})$轮中的所有对最短路径（APSP），这也意味着图直径$D$的计算。在未加权图中，APSP可以在$O(\min\{n^{1/3}\log{D},n^κ D\})$轮中计算，直径可以在$O(n^κ\log{D})$轮中计算。此外，我们展示了如何在$O(n^{1/3})$轮中计算图的围长，并提供了在$O(n^κ)$轮中完成的三角形检测和4圈检测算法。我们所有的算法都是确定性的。我们的三角形检测和4-循环检测算法在此模型中改进了以前最知名的算法，并驳斥了一个猜想，即任何确定性遗忘算法检测三角形都需要$\tilde Ω(n^{1/3})$轮。我们的距离计算算法是精确的，并且改进了Nanongkai [STOC 2014]的先前最知名的$\tilde O(n^{1/2})$算法，用于计算APSP的$(2+o(1))$近似。最后，我们给出了与上述自然算法族相匹配的下界。对于拥塞集团广播模型，我们推导出矩阵…
2015-03-22 cs.DC cs.DS
Algebraic Methods in the Congested Clique
在这项工作中，我们使用代数方法研究距离计算和子图检测任务的拥挤集团模型。具体来说，我们适应并行矩阵乘法实现拥塞集团，获得一个$O(n^{1-2/ω})$轮矩阵乘法算法，其中$ω< 2.3728639$是矩阵乘法的指数。结合已知的技术从集中式算法，这给出了显着的改进，在以前的最佳上限的拥塞集团模型。主要成果包括：--$O(n^{0.158})$轮中的三角形和4-循环计数，改进Dolev等人[DISC 2012]的$O(n^{1/3})$三角形检测算法，--$O(n^{0.158})$轮中所有对最短路径的$(1 + o(1))$ -近似，改进Nanongkai [STOC 2014]的$\tilde{O} (n^{1/2})$ -轮$(2 + o(1))$ -近似算法，以及--计算$O(n^{0.158})$轮中的围长，这是该模型中的第一个非平凡解。此外，我们提出了一种新的恒轮检测4-圈的组合算法。
2015-03-17 cs.DC cs.DS
Massively Parallel Computation via Remote Memory Access
我们介绍了自适应大规模并行计算（AMPC）模型，这是一个扩展的大规模并行计算（MPC）模型。在高层次上，AMPC模型通过将一轮内发送的所有消息存储在分布式数据存储中来增强MPC模型。在接下来的一轮中，所有机器都可以随机读取数据存储，并受到与MPC模型中相同的通信总量约束。我们的模型的灵感来自以前的经验研究的分布式图算法使用MapReduce和分布式哈希表服务。这种扩展使我们能够给出新的图形算法，与MPC模型中最知名的解决方案相比，具有更低的轮复杂度。特别是，在AMPC模型中，我们展示了如何解决$O(1)$轮中的最大独立集和$O(\log\log_{m/n} n)$轮中的连通性/最小生成树，这两个轮都使用$O(n^δ)$空间，每台机器为常数$δ< 1$。在MPC的相同存储器机制中，这些问题的最佳已知算法需要polylog $n$轮。我们的结果意味着，2-循环猜想，这是广泛认为，在MPC模型，不成立的AMPC模型。
2019-05-18 cs.DC cs.DS
Adaptive Massively Parallel Constant-round Tree Contraction
Miller和Reif的FOCS'85经典和基本的树收缩算法是一种广泛适用于并行解决大量树问题的技术。此外，它还被用作大量并行图算法的算法设计技术。然而，在所有先前探索的计算模型中，树收缩仅在并行运行时间的$Ω(\log n)$轮中实现。在这项工作中，我们不仅介绍了一个广义的树收缩方法，但也表明它可以在$O(1/ε^3)$轮自适应大规模并行计算（AMPC）设置，其中每台机器有$O(n^ε)$本地内存的一些$0 < ε< 1$高效地计算。AMPC是利用分布式哈希表的大规模并行计算（MPC）的一种实用扩展。一般来说，MPC是MapReduce、Hadoop、Spark和Flume的抽象模型，这些模型目前在整个行业中广泛使用，近年来在理论界得到了广泛的研究。最后但并非最不重要的是，我们表明，我们的结果扩展到多个问题的树，包括但不限于最大和最大匹配，最大和最大独立集，树同构测试，等等。
2021-11-02 cs.DC cs.DS
Sparse Matrix Multiplication and Triangle Listing in the Congested Clique Model
我们在拥塞集团模型中将两个$n \times n$矩阵$S,T$在半环上相乘，其中$n$完全连接的节点在$O(nz(S)^{1/3} nz(T)^{1/3}/n + 1)$轮通信内使用$O(\log n)$位消息同步通信，其中$nz(A)$表示矩阵$A$中非零元素的数量。通过利用输入矩阵的稀疏性，与一般算法相比，我们的算法大大减少了通信[Censor-Hillel等人，PODC 2015]，改进了具有$o(n^2)$非零元素的矩阵的最新技术水平。我们的算法表现出超越以前的解决方案，也只有一个矩阵是稀疏的额外的力量。这允许有效地将稀疏矩阵提升到大于2的幂。作为应用，我们加快了稀疏图中的4圈计数和APSP。我们的算法的贡献是一个新的\emph{deterministic}方法，以稀疏感知的方式重构输入矩阵，它分配给每个节点元素的乘法任务，不一定是连续的，但平衡，产生通信效率的乘法。此外，这种新的确定性的方法可以用来重建输入图的邻接矩阵，使图形相关的问题的快速解决方案。作为一个例子，我们提出了一种新的确定性算法，它解决了$O(m/n^{5/3} + 1)$轮中的三角形列表问题，这是一种以前通过\emph{randomized}算法获得的复杂度[Pandurangan等人，SPAA 2018]，并与$\tildeΩ(n^{1/3})$的下限相匹配[Izumi和Le Gall，PODC 20…
2019-03-20 cs.DC cs.DS
A New Framework for Distributed Submodular Maximization
University of Warwick（华威大学）；Boston University（波士顿大学）；Northeastern University（东北大学）；EPFL（洛桑联邦理工学院）
机器学习中的各种各样的问题，包括样本聚类、文档摘要和传感器放置，可以被转换为受约束的子模块最大化问题。很多最近的努力一直致力于开发分布式算法，这些问题。然而，这些结果遭受高轮数，次优近似比，或两者兼而有之。我们开发了一个框架，使现有的算法在顺序设置的分布式设置，实现接近最佳的近似比，许多设置在只有一个恒定数量的MapReduce轮。我们的技术也给出了一个快速的顺序算法的非单调最大化受拟阵约束。
2016-08-11 cs.AI cs.DC cs.DS
Efficient Parallel Algorithms for k-Center Clustering
k-中心问题是几个经典的NP-难聚类问题之一。对于当代的海量数据集，基于RAM的算法变得不切实际。虽然有很好的顺序算法的k-中心，他们是不容易并行化。在本文中，我们设计并实现了并行近似算法为这个问题。我们观察到，冈萨雷斯的贪心算法可以有效地并行化在几个MapReduce轮，在实践中，我们发现，两轮是足够的，导致4-近似。我们将此与现有的k-中心并行算法进行对比，该算法在恒定数量的轮中运行，并提供10-近似。深入的运行时分析表明，这种方案通常很慢，并且其采样过程仅在k相对于输入大小足够小时才运行。为了在运行时间和近似保证之间进行权衡，我们对该采样算法进行了参数化，并在实验中发现该算法不仅速度更快，而且有时更有效。然而，Gonzalez的并行版本比其顺序版本和并行采样算法快约100倍，几乎不影响解决方案质量。
2016-04-12 cs.DC cs.DS
Matrix Multiplication in the MPC Model
Squarepoint Technologies, India（Squarepoint Technologies）；Microsoft, India（微软）；Indian Institute of Technology, Roorkee, India（印度理工学院卢尔基分校）
研究 MPC 模型中不同处理器数与单机内存约束下的矩形矩阵及稀疏矩阵乘法，给出相应轮复杂度算法。
2025-09-29 cs.CC cs.DC
Analysis of Dynamic Scheduling Strategies for Matrix Multiplication on Heterogeneous Platforms
超级计算机的规模和异构性的巨大增加使得预测调度算法的性能变得非常困难。因此，在运行时做出调度决策的动态解决方案已经超过了静态分配策略。Hadoop等动态计算器的简单性和效率是MapReduce框架成功的关键。诸如StarPU、PaRSEC或StarSs之类的动态图也被开发用于更受约束的计算，例如来自线性代数的任务图。为了做出它们的决定，这些运行时系统利用一些静态信息，诸如任务到关键路线的距离或者任务与计算资源（CPU、GPU等）之间的亲和性。以及诸如输入数据实际位于何处的动态信息。在本文中，我们集中在两个基本的线性代数核，即外积和矩阵乘法。对于每个问题，我们提出了几个动态策略，可以在运行时使用，我们提供了一个分析研究其理论性能。我们证明，理论分析提供了很好的估计量的通信引起的动态策略，可以用来有效地确定阈值中使用的动态调度，从而使它们之间的选择为一个给定的问题和架构。
2014-04-15 cs.DC
Round Compression for Parallel Matching Algorithms
十多年来，我们见证了{ \em massive parallel computation}（MPC）框架的成功，例如MapReduce、Hadoop、Dryad或Spark。他们成功的原因之一是这些框架能够准确地捕捉大规模计算的本质。特别是，与经典的分布式算法或PRAM模型相比，这些框架允许更多的本地计算。在这种情况下出现的基本问题是：我们能否利用这种额外的能力来获得更快的并行算法？这里一个突出的例子是{ \em最大匹配}问题-最经典的图问题之一。众所周知，在PRAM模型中，可以在$O(\log{n})$轮中计算2-近似最大匹配。然而，在MPC框架中这个问题的确切复杂性仍然远未被理解。Lattanzi等人证明，如果每台机器都有$n^{1+Ω(1)}$内存，这个问题也可以用$2$来解决--大约在一个常数轮数内。这些技术，以及在后续工作中开发的方法，似乎一旦我们进入近线性记忆状态，就会在基本上停留在大约$O(\log{n})$轮。因此，在这种特别捕获稀疏图计算的情况下，最佳MPC轮复杂度与PRAM模型中已经获得的复杂度相匹配，而不需要利用额外的本地计算能力，这是完全可能的。在本文中，我们最终驳斥了这种令人困惑的可能性。也就是说，即使在每台机器的{ \em略微次线性}内存的情况下，我们也打破了上述$O(\log n)$轮复杂度界限。事实上，我们在这里的改进是{ \em几乎指数}：我们能够…
2018-02-01 cs.DC cs.DS
Log Diameter Rounds Algorithms for $2$-Vertex and $2$-Edge Connectivity
许多现代并行系统，如MapReduce，Hadoop和Spark，可以很好地建模MPC模型。MPC模型可以很好地捕捉大数据上的粗粒度计算--数据被分发到处理器，每个处理器都有一个次线性（在输入数据中）的内存量，我们在计算轮和通信轮之间交替，每个机器可以传输与其内存大小一样大的数据量。该模型比经典的PRAM模型更强，设计运行时间比PRAM模型更短的算法是一个有趣的问题。本文研究了两个基本问题：$2$ -边连通性和$2$ -点连通性（双连通性）.在$O(\log n)$时间内运行的PRAM算法已经公知多年。在MPC模型中，我们给出了使用粗对数直径轮的算法。我们的主要结果是：1）$n$并行时间$2$-边连通算法; 2）$O(\log D\log^2\log_{m/n}n+\log D'\log\log_{m/n}n)$并行时间双连通算法，其中双直径$D'$是同一双连通分支中所有顶点对上的最大圈长.我们的结果是完全可扩展的，这意味着每个处理器的内存可以是$O(n^δ)$为任意常数$δ>0$，和使用的总内存是线性的问题大小。我们的$2$ -边缘连接算法实现了与Andoni等人的连接算法相同的并行时间。（FOCS 2018）。我们还证明了双连通问题的$Ω(\log D')$条件下界。
2019-05-02 cs.DC cs.DS
Parallel and Streaming Algorithms for K-Core Decomposition
Google Research（谷歌研究院）
$k$ -核心分解是许多机器学习和数据采掘应用中的基本原语。我们提出了第一个分布式和第一个流算法来计算和维护一个近似的$k$核心分解与可证明的保证。我们的算法实现了严格的界限上的空间复杂度，同时边界的通过或计算轮数。我们这样做，提出了一个新的强大的草图技术$k$核心分解，然后通过显示它可以有效地计算流和MapReduce模型。最后，我们证实了我们的素描技术的有效性经验上的一些公开的图形。
2018-11-23 cs.DC cs.DS cs.LG
Near-Optimal Massively Parallel Graph Connectivity
识别图的连通分量，除了是无数应用的基本问题之外，也是许多其他算法的关键基础。在本文中，我们考虑这个问题在并行设置。特别是，我们专注于大规模并行计算（MPC）模型，这是现代并行框架（如MapReduce，Hadoop或Spark）的标准理论模型。我们认为真正的次线性制度MPC的图形问题，每台机器的空间是$n^δ$的一些理想的小常数$δ\in (0, 1)$。我们提出了一个算法，对于直径$D$在宽范围$[\log^ε n, n]$的图，采取$O(\log D)$轮，以确定连通组件和采取$O(\log \log n)$轮的所有其他图。该算法是随机的，成功的概率高，不需要$D$的先验知识，并使用$O(m)$的最佳总空间。我们补充这一点，显示了一个条件下限的基础上，广泛认为TwoCycle猜想，$Ω(\log D)$轮确实是必要的，在这种情况下。在Andoni等人的开创性工作[FOCS 2018]之后，研究并行连接算法重新受到关注，他们提出了一种具有$O(\log D \cdot \log \log n)$轮复杂度的算法。我们的算法改进了这一结果的$D$值的整个范围内，几乎解决了问题，由于条件下限。此外，我们表明，以最小的调整，我们的算法也可以实现在一个变种的（CRCW）PRAM在渐近相同数量的回合。
2020-03-11 cs.DC cs.DS
Massively Parallel Algorithms for Distance Approximation and Spanners
在过去的十年中，有越来越多的兴趣在分布式/并行算法处理大规模的图形。到目前为止，对于大规模并行计算（MPC）模型中的一些基本图形问题，我们已经有了相当快的算法--通常是亚临界时间，通常是$poly(\log\log n)$时间，甚至更快。该模型是MapReduce风格设置的广泛采用的理论抽象，其中许多机器以全对全的方式进行通信以处理大规模数据。贡献这一行的MPC图形算法的工作，我们提出了$poly(\log k) \in poly(\log\log n)$轮MPC算法计算$O(k^{1+{o(1)}})$ -spectrometry在强次线性制度的本地存储器。据我们所知，这些是第一个亚临界时间MPC算法的结构。作为主要的应用程序，我们得到两个重要的影响，如下：-对于MPC设置，我们得到了一个$O(\log^2\log n)$轮算法的$O(\log^{1+o(1)} n)$近似的所有对最短路径（APSP）在近线性制度的本地内存。据我们所知，这是第一个用于距离近似的亚临界时间MPC算法。- 我们上面的结果也扩展到分布式计算的拥塞集团模型，具有相同的轮复杂度和近似保证。这给出了拥塞集团模型中加权图中近似APSP的第一个亚对数算法。
2021-06-28 cs.DC cs.DS
Boolean Matrix Multiplication for Highly Clustered Data on the Congested Clique
针对高度聚类数据，提出在拥塞团簇上计算布尔矩阵乘积的协议，利用近似最小生成树实现高效轮数，并给出汉明空间MST近似算法。
2024-05-25 cs.DC cs.DS
Coresets Meet EDCS: Algorithms for Matching and Vertex Cover on Massive Graphs
随着大规模图变得越来越普遍，对解决大型数据集上的经典图问题（如最大匹配和最小顶点覆盖）的可扩展算法的需求迅速增长。对于大量输入，已经引入了几种不同的计算模型，包括流式模型、分布式通信模型和作为MapReduce风格计算的常见抽象的大规模并行计算（MPC）模型。在每个模型中，除了更传统的近似比之外，还根据资源（例如所使用的空间或所需的通信轮次）来分析算法。在本文中，我们给出了一个统一的方法，产生更好的近似算法的匹配和顶点覆盖在所有这些模型。重点包括：* 使用次二次空间的随机到达流中的匹配的第一个通过，显著优于2近似，即使用$O(n^{1.5})$空间用于常数$ε> 0$的$(1.5+ε)$近似流算法。* MPC模型中的第一个2轮、优于2的近似匹配，每个机器使用次二次空间，即对于常数$ε> 0$，每个机器具有$O(\sqrt{mn} + n)$存储器的$(1.5+ε)$近似算法。通过建立在我们的统一的方法，我们进一步开发并行算法的MPC模型，给出了一个$(1 + ε)$ -近似匹配和$O(1)$ -近似顶点覆盖只有$O(\log\log{n})$ MPC轮和$O(n/poly\log{(n)})$内存每台机器。这些结果解决了Czumaj等人最近的论文[STOC 2018]中提出的多个未决问题。
2018-12-27 cs.DC cs.DS
Low-Bandwidth Matrix Multiplication: Faster Algorithms and More General Forms of Sparsity
本研究改进了低带宽下稀疏矩阵乘法分布式算法，将均匀稀疏矩阵乘法的通信轮数从O(d^1.907)降至O(d^1.832)，并拓展研究了行稀疏、列稀疏等多种非均匀稀疏形式的矩阵乘法问题。
2024-05-22 cs.DC
Massively Parallel Symmetry Breaking on Sparse Graphs: MIS and Maximal Matching
在过去的几年里，MapReduce、Hadoop或Spark等现代并行范式的成功吸引了人们对大规模并行计算（MPC）模型的极大关注，特别是在图问题上。在这项工作中，我们认为对称性破缺问题的最大独立集（MIS）和最大匹配（MM），这是最深入研究的问题，在分布式/并行计算，在MPC。这些问题是已知的承认有效的MPC算法，如果每台机器的空间是近线性的$n$，在图中的顶点数。然而，正如在文献中所观察到的，这种空间需求通常比我们所能承受的要大得多;特别是当输入图稀疏时。与此形成鲜明对比的是，在每台机器的$n^{1-Ω(1)}$空间的真正次线性区域中，所有已知的算法都采用被认为是低效的$\log^{Ω(1)} n$轮。出于这个缺点，我们参数化我们的算法的荫度$α$的输入图，这是一个广受好评的措施，其稀疏性。我们表明，MIS和MM都承认$O(\sqrt{\log α}\cdot\log\log α+ \log^2\log n)$轮算法使用$O(n^ε)$空间每台机器的任何常数$ε\in (0, 1)$和使用$\widetilde{O}(m)$总空间。因此，对于稀疏图的荫度较小的情况-如无次图、有界亏格图或有界树宽图-，我们得到了一个$O(\log^2 \log n)$轮算法，该算法指数地改进了现有的算法。通过已知的约简，我们的结果也意味着一个$(1+ε)$ -近似的最大基数匹配，一个$(2+ε)…
2019-05-06 cs.DC cs.DS
EmuGEMM: Fused Tensor Core Kernels for Precision Emulation in Matrix Multiplication
ETH Zurich（苏黎世联邦理工学院）
针对低精度矩阵乘法单元与科学计算精度需求之间的差距，提出EmuGEMM，通过融合整数张量核心内核消除Ozaki方案中的冗余内存往返，在Hopper和Blackwell GPU上实现高精度GEMM，性能显著超越cuBLAS。
2026-06-25 cs.DC cs.MS cs.PF
Rectangular Matrix Multiplication in the Low-Bandwidth Model
IIT Roorkee（印度理工学院罗尔基分校）；Aalto University（阿尔托大学）
研究低带宽分布式计算模型中矩形矩阵乘法的轮复杂度，针对两种自然长宽比⟨n,d,n⟩和⟨d,n,d⟩，给出了匹配的上下界并揭示了相变现象。
2026-06-03 cs.DC
Fast Approximate Shortest Paths in the Congested Clique
我们设计快速确定性算法的距离计算在拥挤的集团模型。我们的主要贡献包括：--一个$(2+ε)$ -近似所有对最短路径的$O(\log^2{n} / ε)$轮上的无向图。通过一个小的附加因子，这也适用于加权图。这是该模型中APSP的第一个子多项式常数因子近似。--加权无向图上$O(\log^2{n} / ε)$轮中$O(\sqrt{n})$源的多源最短路径的$(1+ε)$近似。这是第一个子多项式算法获得多项式大小的一组源的这种近似。我们的主要技术是新的距离工具，通过稀疏矩阵乘法的改进算法，我们利用它来构建有效的跳集和最短路径。此外，我们的技术扩展到额外的距离问题，我们改进后的最先进的，包括直径近似，和一个精确的单源最短路径算法加权无向图在$\tilde{O}(n^{1/6})$轮。
2019-10-31 cs.DC cs.DS
Parallel Graph Connectivity in Log Diameter Rounds
研究了MPC模型中的图连通性问题。在具有$n$节点和$m$边的无向图上，$O(\log n)$轮连通性算法已经已知超过35年。然而，没有更好的复杂性界限的算法是已知的。在这项工作中，我们给出了完全可扩展的，更快的算法的连通性问题，通过参数化的时间复杂度作为一个函数的直径的图形。我们的主要结果是一个$O(\log D \log\log_{m/n} n)$时间连通算法的直径$D$图，使用$Θ(m)$总内存。如果我们的算法可以使用更多的内存，它可以在更少的回合中终止，并且每个处理器的内存没有下限。我们将我们的结果扩展到相关的图问题，如生成森林，寻找DFS序列，精确/近似最小生成森林，瓶颈生成森林。我们还表明，在有向图中实现类似的边界的可达性将意味着更快的布尔矩阵乘法算法。我们介绍几个新的算法思想。我们描述了一个通用的技术，称为双指数速度的问题大小减少，这大致意味着，如果我们可以使用总内存$N$减少一个问题的大小$n$到$n/k$，$k=(N/n)^{Θ(1)}$在一个阶段，那么我们可以解决问题的$O(\log\log_{N/n} n)$阶段。为了实现这种快速减少图的连通性，我们使用多步算法。一个关键的步骤是一个精心构造的截断广播方案，其中每个节点广播邻居集的方式，限制所产生的邻居集的大小。另一个关键步骤是随机的领导者收缩，我们选择了一个比以前许多作品更小的领导者集合。
2018-05-08 cs.DC cs.DS
Fast Distributed PageRank Computation
在过去的十年中，PageRank在广泛的应用程序和领域中获得了重要性，自从它首次被证明可以有效地确定大型图中的节点重要性（并且是Google搜索引擎背后的先驱思想）。在单独的分布式计算中，PageRank向量或更一般地基于随机游走的量已经用于范围从确定重要节点、负载均衡、搜索和识别连接结构的若干不同应用。然而，令人惊讶的是，设计可证明有效的全分布式算法来计算PageRank的工作很少。困难在于，由于通信带宽限制和收敛速率，传统的矩阵-向量乘法风格的迭代法可能并不总是很好地适应分布式设置。在本文中，我们提出了快速的随机行走为基础的分布式算法计算PageRanks在一般的图，并证明了强界轮复杂度。我们首先提出了一种分布式算法，它在任何图（有向或无向）上以高概率进行$O\big(\log n/\eps \big)$轮，其中$n$是网络大小，$\eps$是PageRank计算中使用的重置概率（通常$\eps$是固定常数）。然后，我们提出了一个更快的算法，需要$O\big(\sqrt{\log n}/\eps \big)$轮无向图。上述两种算法都是可缩放的，因为每个节点在每个轮的每个边缘上仅发送少量（$\polylog n$）比特。据我们所知，这是第一个完全分布式的计算PageRank向量的算法，可证明运行时间有效。
2015-11-25 cs.DC cs.DS
Fully Scalable Massively Parallel Algorithms for Embedded Planar Graphs
本文针对嵌入平面图提出完全可扩展的 MPC 常数轮算法，将每台机器内存需求从 n^{2/3+Ω(1)} 降至 n^δ，并解决连通性、MST、SSSP、最小割及最大流等问题。
2023-10-27 cs.CG cs.DC cs.DS
Fast Distributed Algorithms for Girth, Cycles and Small Subgraphs
在本文中，我们给快速分布式图算法检测和上市的小子图，并计算或近似的围长。我们的算法通过多项式因子改进了现有技术，对于围长，我们得到了拥塞集团中加性+1近似的常数时间算法，以及CONGEST中精确计算的第一个参数化算法。在拥挤的集团，我们开发了一种技术，学习小的邻域，并将其应用到获得一个$O(1)$轮算法，计算周长只有一个加性+1错误。接下来，我们介绍了一种新的技术（分区树技术），允许有效地和确定性地列出任何子图的所有副本，改进了非稠密图的最新技术。我们给出了这种技术的两个应用：首先，我们表明，对于恒定的$k$，$C_{2k}$ -检测可以解决在$O(1)$轮拥塞集团，改善以前的工作，使用矩阵乘法和多项式轮复杂度。第二，我们证明了在无三角形图中，围长可以在时间上以多项式的速度精确计算，比一般图的最佳已知界要快。在CONGEST中，我们描述了一种新的方法来寻找周期，并将其应用在两个方面：首先，我们展示了一个快速的参数化算法周长与轮复杂度$\tilde{O}(\min(g\cdot n^{1-1/Θ(g)},n))$的任何周长$g$;第二，我们展示了如何找到小的偶数长度周期$C_{2k}$的$k = 3,4,5$在$O(n^{1-1/k})$轮，这是一个多项式的改善以前的运行时间。最后，利用我们改进的$C_6$ -freeness算法和Eden等人关于证明三角形-freeness下界的障…
2021-01-19 cs.DC cs.DS
Sublinear-Time Sampling of Spanning Trees in the Congested Clique
本文提出拥塞团模型中首个次线性轮数的近似均匀生成树采样算法，通过自顶向下游走填充与舒尔补图捷径化，并利用压缩随机游走重建实现高效采样。
2025-05-09 cs.DC
Recovering single precision accuracy from Tensor Cores while surpassing the FP32 theoretical peak performance
针对Tensor Core矩阵乘法精度不足问题，提出基于CUTLASS的校正方法，处理舍入与下溢，实现与FP32 SIMT Core相同精度且吞吐量超越其理论峰值。
2023-10-18 cs.DC
Congested Clique Counting for Local Gibbs Distributions
本文在CongestedClique模型中提出首个面向局部吉布斯分布的近似计数算法，利用分布式马尔可夫链并行采样，在快速混合条件下以Õ(n^{1/3}/ε²)轮近似配分函数，并在hardcore模型中将轮数改进为Õ(1/ε²)。
2025-08-18 cs.DC cs.DS
