Coloring Trees in Massively Parallel Computation
在大规模并行计算（MPC）模型下，提出了树的$O(\log^2 \log n)$时间3-着色、最大独立集和最大匹配算法.我们的算法是确定性的，适用于任意度的树和工作在低空间MPC模型，其中本地内存是$O(n^δ)$的$δ\in (0,1)$和全局内存是$O(m)$。我们的主要结果是3-着色算法，它与Ghaffari，Grunau和Jin [DISC'20]的随机，最先进的4-着色算法形成对比。在获得着色后，在$O(1)$时间内进行最大独立集和最大匹配算法。我们的3-着色算法的关键成分是一个$O(\log^2 \log n)$时间适应的rake-and-compress树分解使用的张和佩蒂[FOCS'17]，并建立了米勒和赖夫。当我们把注意力限制在常数度的树上时，我们把运行时间降低到$O(\log \log n)$。
2021-10-30 cs.DC cs.DS
A Massively Parallel Algorithm for Minimum Weight Vertex Cover
我们提出了一个大规模并行算法，每台机器的近线性内存，计算$(2+\varepsilon)$近似的最小权重顶点覆盖$O(\log\log d)$轮，其中$d$是输入图的平均程度。我们的结果填补了关键剩余的差距，在国家的最先进的MPC算法的顶点覆盖和匹配问题，两个经典的优化问题，这是相互矛盾的。具体地说，最近的一系列工作-由Czumaj等人[STOC'18]、Ghaffari等人[PODC'18]、Assadi等人[SODA'19]和Gamlath等人[PODC'19]-为$(1+\varepsilon)$ -近似最大权重匹配以及$(2+\varepsilon)$ -近似最小基数顶点覆盖提供了$O(\log\log n)$时间算法。然而，后一种算法不适用于顶点覆盖的一般加权情况，其中最著名的算法保持在$O(\log n)$时间复杂度。
2020-05-21 cs.DC cs.DS
Massively Parallel Computation via Remote Memory Access
我们介绍了自适应大规模并行计算（AMPC）模型，这是一个扩展的大规模并行计算（MPC）模型。在高层次上，AMPC模型通过将一轮内发送的所有消息存储在分布式数据存储中来增强MPC模型。在接下来的一轮中，所有机器都可以随机读取数据存储，并受到与MPC模型中相同的通信总量约束。我们的模型的灵感来自以前的经验研究的分布式图算法使用MapReduce和分布式哈希表服务。这种扩展使我们能够给出新的图形算法，与MPC模型中最知名的解决方案相比，具有更低的轮复杂度。特别是，在AMPC模型中，我们展示了如何解决$O(1)$轮中的最大独立集和$O(\log\log_{m/n} n)$轮中的连通性/最小生成树，这两个轮都使用$O(n^δ)$空间，每台机器为常数$δ< 1$。在MPC的相同存储器机制中，这些问题的最佳已知算法需要polylog $n$轮。我们的结果意味着，2-循环猜想，这是广泛认为，在MPC模型，不成立的AMPC模型。
2019-05-18 cs.DC cs.DS
Dynamic Graph Algorithms with Batch Updates in the Massively Parallel Computation Model
我们研究了大规模并行计算模型下的动态图算法，这是受到实际数据处理系统的启发。我们的目标是提供算法，可以有效地处理大批量的边缘插入和删除。我们展示的算法，需要更少的回合来更新的解决方案，如最小生成森林，2-边连接组件，最大匹配比将需要由他们的静态同行从头开始计算。它们工作在最严格的内存制度，其中每台机器的本地内存是强次线性的图形顶点的数量。改进它们可以有效处理的批的大小将改进稀疏图上的已知静态算法的轮复杂度。我们的算法可以处理批量更新的大小$Θ(S)$，最小生成森林和2-边连接组件，和$Θ(S^{1-\varepsilon})$，最大匹配，在$O(1)$轮，其中$S$是一台机器的本地内存。
2021-01-11 cs.DC cs.DS
Massively Parallel Algorithms for Finding Well-Connected Components in Sparse Graphs
大规模并行计算（MPC）平台出现的一个基本问题是，与PRAM等经典并行模型相比，如何利用MPC范式的额外功能来实现更快的算法？以前的研究已经确定稀疏图连通性问题是这种改进的主要障碍：虽然用于在任何$n$ -顶点图中找到连通分量的经典的循环PRAM算法已经知道了三十多年，但是没有$o(\log{n})$ -循环MPC算法已知用于此任务，并且每台机器的$n$存储器中具有真正的次线性。这个问题出现在处理大量但稀疏的图形与$O(n)$边缘，其中有趣的参数设置是$n^{1-Ω(1)}$内存每台机器。这是证明，实现$o(\log{n})$轮算法的连接一般稀疏图与$n^{1-Ω(1)}$每台机器的内存可能是不可能的，这一猜想也形成了多个条件硬度结果的基础上轮复杂性的MPC模型中的其他问题。我们采取机会主义的方法对稀疏图的连通性问题，通过设计一个算法，提高了性能保证方面的输入图的连接结构。形式上，我们设计了一个算法，找到所有连接组件的频谱间隙至少$λ$在图中的$O(\log\log{n} + \log{(1/λ)})$ MPC轮和$n^{Ω(1)}$内存每台机器。因此，该算法在稀疏的“良好连接”分量（即，$λ\geq 1/\text{polylog}{(n)}$），每台机器只使用$n^{Ω(1)}$内存和$\widetilde{O}(n)$总内存，并且即使当$o(\log n)$。
2018-05-08 cs.DC cs.DS
Dynamic Algorithms for the Massively Parallel Computation Model
大规模并行计算（MPC）模型在过去十年中越来越流行，现在被视为处理大规模数据的标准模型。该模型的一个显著缺点是，它假设在静态数据集上工作，而在实践中，真实世界的数据集不断演变。为了克服这个问题，在本文中，我们开始在MPC模型的动态算法的研究。我们首先讨论了一个动态的并行模型的主要要求，我们展示了如何适应经典的MPC模型来捕捉它们。然后分析了经典动态算法与MPC模型中动态算法之间的联系。最后，我们提供了新的高效的动态MPC算法的各种基本图的问题，包括连接，最小生成树和匹配。
2019-05-22 cs.DC cs.DS
Massively Parallel Approximate Distance Sketches
允许有效距离估计的数据结构（距离预言、距离草图等）已经被广泛研究，特别是在集中式模型和经典的分布式模型（如CONGEST）中研究得很好。我们开始他们的研究在较新的（可以说是更现实的）分布式计算模型：拥塞集团模型和大规模并行计算（MPC）模型。我们在这两个模型中提供了有效的构造，但我们的核心结果是MPC。在MPC中，我们给出了两个主要结果：构造拉伸/空间最佳距离草图但需要（小）多项式数量的轮次的算法，以及构造拉伸较差但只需要多对数轮次的距离草图的算法。一路上，我们表明，其他有用的组合结构也可以计算在MPC。特别是，我们用来构建距离草图的一个关键组件是Elkin和Neiman（2016）的跳集的MPC构造。这一结果有额外的应用，如第一次多项式时间算法恒定近似单源最短路径加权图在低内存MPC设置。
2019-09-12 cs.DC cs.DS
A massively parallel algorithm for constructing the BWT of large string sets
我们提出了一个新的可扩展的，轻量级的算法，以逐步构建BWT和FM索引的大型字符串集，如下一代测序。该算法是专为大规模并行，可以有效地利用低容量高带宽的内存和较慢的外部系统内存的GPU加速系统的典型组合。特别地，对于来自具有σ符号的字母表的n个字符的字符串集合，它使用恒定量的高带宽存储器和至多3n log（σ）位的系统存储器。考虑到深存储层次结构正在成为高性能计算体系结构的普遍特征，我们认为这是一个相关的特征。该实现可以处理任意长度的读段，并且对于短和长基因组读段，分别比现有技术快2倍和6.5倍
2014-10-02 cs.DC cs.DS
Massively parallel read mapping on GPUs with PEANUT
我们提出了PEANUT（PEEEL对齐UTility），一个高度并行的基于GPU的读取映射器，具有几个显着的功能，包括一个新的q-gram索引（称为q-组索引），具有小内存占用，建立在飞行中的读取和输出的可能性都最好的命中或所有命中的读取。特别为GPU架构设计算法，我们能够在几个关键步骤中达到最大的核心占用率。我们的基准测试表明，PEANUT在速度和灵敏度方面优于其他最先进的映射器。该软件可在http://peanut.readthedocs.org上获得。
2014-03-07 cs.DC cs.DS q-bio.QM
Improved Massively Parallel Computation Algorithms for MIS, Matching, and Vertex Cover
我们提出了$O(\log\log n)$轮算法的大规模并行计算（MPC）模型，与$\tilde{O}(n)$内存每台机器，计算一个最大的独立集，一个$1+ε$近似的最大匹配，和一个$2+ε$近似的最小顶点覆盖，任何$n$顶点图和任何常数$ε>0$。这些改进了现有技术如下：-我们的MIS算法导致一个简单的$O(\log\log Δ)$ -轮MIS算法在分布式计算的拥塞集团模型，它改进了$\tilde{O}(\sqrt{\log Δ})$轮算法的Ghaffari [PODC'17]。- 我们的$O(\log\log n)$ -圆形$(1+ε)$ -近似最大匹配算法简化或改进了以下先前的工作：$O(\log^2\log n)$ -圆形$(1+ε)$ -Czumaj等人的近似算法[STOC'18]和$O(\log\log n)$ -圆形$(1+ε)$ -Assadi等人的近似算法[SODA'19]。- 我们的$O(\log\log n)$ -圆形$(2+ε)$ -近似最小顶点覆盖算法改进了Assadi等人的$O(\log\log n)$ -圆形$O(1)$ -近似[arXiv'17]。
2022-03-17 cs.DC cs.DS
Massively Parallel Algorithms for $b$-Matching
本文提出了一个$O(\log\log \bar{d})$轮大规模并行算法，用于最大加权$b$ -匹配的$1+ε$近似，每台机器使用近线性内存。这里，$\bar{d}$表示图中的平均度，并且$ε$是任意小的正常数。回想一下，$b$匹配是匹配问题的自然和充分研究的推广，其中允许不同的顶点在匹配中具有多个（和不同数量的）入射边。具体地，每个顶点$v$被给予正整数预算$b_v$，并且在匹配中它可以具有多达$b_v$的关联边。先前，对于加权匹配的$1+ε$近似和最大匹配，存在具有轮复杂度$O(\log\log n)$或$O(\log\log Δ)$的已知算法，其中$Δ$表示最大程度[Czumaj等人，STOC'18，Ghaffari等人PODC'18; Assadi等人SODA'19; Behnezhad等人FOCS'19; Gamlath等人PODC'19]，但是这些算法没有扩展到更一般的$b$匹配问题。
2022-11-14 cs.DC cs.DS
Massively Parallel Algorithms and Hardness for Single-Linkage Clustering Under $\ell_p$-Distances
我们提出了大规模并行（MPC）算法和硬度的近似结果计算$n$输入$d$维向量的单链聚类下的汉明，$\ell_1, \ell_2$和$\ell_\infty$距离。我们所有的算法运行在$O(\log n)$轮MPC的任何固定的$d$和实现$(1+ε)$ -近似的所有距离（除了汉明，我们显示一个确切的算法）。我们还显示了恒定因素的不可近似性结果$o(\log n)$轮算法下的标准MPC硬度假设（足够大的尺寸取决于所使用的距离）。我们的算法在Apache Spark中的实现效率通过在各种数据集上的实验来证明，这些数据集表现出几个数量级的加速。
2018-03-25 cs.DB cs.DC cs.DS
Massively Parallel Construction of Radix Tree Forests for the Efficient Sampling of Discrete Probability Distributions
我们比较了不同的离散概率分布采样方法，并介绍了一种新的算法，这是特别有效的大规模并行处理器，如GPU。该方案保留了输入序列的分布特性，平均暴露恒定的时间复杂度，并显着降低了某些分布的平均操作数时，采样是在一个并行算法，需要同步后执行。避免了朴素方法的负载均衡问题，补充了所需辅助数据结构的非常有效的大规模并行构造算法。
2019-08-30 cs.DC cs.GR
New lower bounds for Massively Parallel Computation from query complexity
Roughgarden，Vassilvitskii和Wang（JACM 18）最近介绍了一个新的框架，用于使用布尔函数复杂度技术证明大规模并行计算的下界。我们以两种不同的方式扩展了他们的框架，以捕获大规模并行计算的两个共同特征：$\circ$自适应性，其中机器可以在整个计算执行过程中写入和自适应地读取共享内存。Behnezhad等人（SPAA 19）最近的工作表明，自适应性可以显着改善许多中心图问题的轮复杂性。$\circ$ Promise问题，其中算法只需要在某些输入上成功。这些输入可能具有特别感兴趣的特殊结构，或者它们可能代表整个问题的困难实例。使用这个扩展的框架，我们给出了第一个无条件下界的复杂性区分输入图是一个周期的长度$n$或两个周期的长度$n/2$。1v 2-循环问题是大规模并行计算研究中的一个核心问题。我们证明，任何自适应算法的1v 2周期问题的I/O能力$O(n^{\varepsilon})$每台机器需要$Ω(1/\varepsilon)$轮，匹配最近的上限Behnezhad等人。除了加强大规模并行计算和布尔函数复杂性之间的联系，我们还开发了新的机器，后者的原因。我们证明的核心是1v 2-循环问题的查询复杂度和近似证书复杂度的最佳下界。
2020-01-05 cs.CC cs.DC cs.DS
3DES ECB Optimized for Massively Parallel CUDA GPU Architecture
现代计算机的图形卡具有比传统CPU高得多的理论效率。本文提出了应用的可能性GPU CUDA加速加密的数据使用的新架构量身定制的3DES算法，其特点是增加了安全性相比，正常的DES。ECB模式（电子码本）中使用的算法，其中64位数据块由流处理器（CUDA内核）独立加密。
2013-05-19 cs.DC
On a New Multicomputer Interconnection Topology for Massively Parallel Systems
本文介绍了一种新的互连网络拓扑结构，称为平衡变种超立方体（BVH），适用于大规模并行系统。所提出的拓扑结构是一种混合结构，几乎保留了平衡超立方体和变异超立方体的所有吸引人的性质。介绍了平衡变种超立方体的拓扑结构、各种参数、路由和广播。平衡品种超立方体的性能与其他网络进行了比较。在直径，成本和平均距离和可靠性方面，该网络被发现优于超立方体，平衡超立方体和变种超立方体。它也比Hypercube和Balanced Hypercube更可靠和更具成本效益。
2011-08-06 cs.DC
Massively-Parallel Heat Map Sorting and Applications To Explainable Clustering
Sharif University of Technology（谢里夫理工大学）
本文提出了热图排序问题以在保持簇连通性的前提下重排与合并点及维度，证明了其NP难性，并给出了大规模并行计算模型下的常数轮次固定参数算法及NP难特例的近似算法，实证表明其优于k-means和DBSCAN。
2023-09-14 cs.DC cs.DS cs.LG
ParPaRaw: Massively Parallel Parsing of Delimiter-Separated Raw Data
解析对于各种用例都是必不可少的，例如流处理、批量加载和原始数据的原位查询。然而，计算密集型步骤通常构成数据摄取管道中的主要瓶颈，因为需要更多解析规则的输入解析对并行化具有挑战性。本文提出了一种在GPU上解析定界符分隔的数据格式的大规模并行算法。与现有技术不同，所提出的方法不需要初始顺序传递输入来确定线程的解析上下文。也就是说，从输入中间某处开始的线程应该如何解释某个符号（例如，是将逗号解释为逗号，还是将其解释为用双引号括起来的较大字符串的一部分）。而不是定制的方法，以一种单一的格式，我们能够执行一个大规模的并行FSM模拟，这是更灵活和强大的，支持更具表现力的解析规则具有普遍适用性。实现高达14.2 GB/s的解析速率，我们的实验评估与3584个核心的GPU上显示，所提出的方法是能够扩展到数千个核心及以上。通过端到端流传输方法，我们能够利用PCIe总线的全双工功能并隐藏数据传输的延迟。考虑到端到端的性能，该算法在短短0.44秒内解析4.8 GB，包括数据传输。
2020-04-15 cs.DB cs.DC cs.DS
Massively Parallel Construction of the Cell Graph
运动规划是机器人学中一个重要的研究领域。寻找路线的典型方法是构造表示场景的{ \em单元图}，然后在这样的图中寻找路径。在本文中，我们提出并分析了并行算法上构建的细胞图的SIMD类GPU处理器。此外，我们提出了一个新的实现的字典数据类型的GPU设备上。与GPU算法中常见的哈希表相反，它使用搜索树，其中所有值都保存在叶子中。有了这样的结构，我们可以有效地执行字典操作的一组长向量在有限的字母表。
2015-03-20 cs.DC
A New Model for Massively Parallel Computation Considering both Communication and IO Cost
在并行计算的研究领域中，通信开销被广泛研究，而IO开销却被忽略。对于大数据计算，数据适合主存的假设不再成立，必须使用外部存储器。因此，有必要将IO开销引入并行计算模型。在本文中，我们提出了第一个并行计算模型，它考虑到IO成本以及非均匀通信成本。在新模型的基础上，我们提出了几个新的问题，旨在最小化新模型的IO和通信成本。我们证明了这些新问题的困难性，然后设计和分析了求解这些问题的近似算法。
2022-03-24 cs.DC
Engineering Massively Parallel MST Algorithms
本文提出基于可扩展 Boruvka 的分布式内存 MST 算法，通过局部收缩预处理和 Filter-Boruvka 过滤机制，在 65536 核上实现良好扩展，最高较已有方法提速 800 倍。
2023-12-08 cs.DC
From Massively Parallel Algorithms and Fluctuating Time Horizons to Non-equilibrium Surface Growth
我们研究了离散事件模拟的大规模并行算法的渐近标度特性，其中离散事件是泊松到达。模拟时间范围的演变类似于非平衡表面。蒙特卡罗模拟和粗粒度近似表明，在稳态下的宏观景观是由爱德华-威尔金森哈密顿量。由于该算法的效率对应于相关表面中的局部极小点的密度，我们的结果意味着该算法是渐近可扩展的。
2000-02-01 cond-mat.stat-mech cs.DC physics.comp-ph
An Evaluation of Massively Parallel Algorithms for DFA Minimization
本文针对DFA最小化问题，在GPU上实现四种大规模并行算法，发现理论最优复杂度算法因资源需求大不适用，现有并行划分细化算法实际表现更优，还提出带并行部分传递闭包的新算法，在特定基准上复杂度和表现均更优。
2024-10-30 cs.DC cs.LO
Massively Parallel Stencil Strategies for Radiation Transport Moment Model Simulations
辐射输运方程是高维相空间中的介观方程。矩量法通过传统时空中的偏微分方程系统来近似它。一个挑战是由于每个空间网格点中的大矢量大小（P39的1600个分量）而导致的高计算强度。在这项工作中，我们扩展了可计算的域的大小在3D模拟相当大的，通过实施的StaRMAP方法的大规模并行HPC框架NAStJA，这是为了有效地使用当前的超级计算机。我们采用了几种优化技术，包括一个新的内存布局和显式SIMD向量化。我们展示了一个具有2000亿自由度的模拟，并讨论了如何在许多科学领域中扩展和使用这些实现。
2020-04-06 cs.DC physics.comp-ph
Massively Parallel Processor Architectures for Resource-aware Computing
我们提出了一类大规模并行处理器架构称为侵入性紧耦合处理器阵列（TCPAs）。所提出的处理器类是一个高度可参数化的模板，它可以在运行前定制，以满足客户的要求，如性能，面积成本和能源效率。这些可编程加速器非常适合信号、图像和视频处理以及其他流处理应用领域的特定领域计算。为了克服未来的缩放问题（例如，功耗、可靠性、资源管理以及应用程序并行化和映射），TCPA固有地被设计为在硬件级支持自适应性和资源感知。在这里，我们遵循最近引入的资源感知并行计算范式称为侵入式计算，应用程序可以动态地要求，执行和释放资源。此外，我们展示了如何侵入式计算可以用作电源管理的推动者。最后，我们将介绍如何通过在处理器阵列级采用按需空间冗余来实现这种大规模并行架构上的容错循环执行的想法。
2014-05-12 cs.AR cs.DC
Massively-Parallel Break Detection for Satellite Data
遥感领域目前面临着大量的数据。虽然这提供了各种令人兴奋的研究机会，但它也带来了关于计算时间和空间要求的重大挑战。在实践中，庞大的数据量使得现有方法对于处理和分析所有可用数据来说太慢。这项工作的目的是加速BFAST，国家的最先进的方法之一，为打破检测给定的卫星图像时间序列。特别是，我们提出了一个完全并行的实现BFAST，可以有效地利用现代并行计算设备，如GPU。我们的实验评估表明，建议的GPU实现是四个数量级的速度比现有的公开可用的实现和高达十倍的速度比相应的多线程CPU执行。运行时间的大幅减少使得在几秒或几分钟内而不是几小时或几天内分析显著较大的数据集成为可能。我们展示了我们的实现的实际好处，给出了人工和真实的数据集。
2018-07-04 cs.DC
Scalable and massively parallel Monte Carlo photon transport simulations for heterogeneous computing platforms
我们提出了一个高度可扩展的蒙特卡罗（MC）三维光子输运模拟平台，设计用于异构计算系统。通过开发一个大规模并行MC算法，使用开放计算语言（OpenCL）框架，本研究扩展了我们现有的图形处理单元（GPU）加速MC技术，一个高度可扩展的供应商无关的异构计算环境，实现显着提高性能和软件可移植性。许多并行计算技术的研究，以实现广泛的计算硬件的便携式性能。此外，开发了多个线程级和设备级负载平衡策略，以使用多个中央处理单元（CPU）和GPU来获得高效的仿真。
2018-01-25 cs.DC physics.comp-ph
Practical Massively Parallel Monte-Carlo Tree Search Applied to Molecular Design
Chugai Pharmaceutical Co., Ltd（中外制药株式会社）；Intel Labs（英特尔实验室）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能统合研究中心）
使用大的计算资源来训练神经网络是常见的做法，如从许多示例（诸如强化学习应用）中已知的。然而，虽然大规模并行计算经常用于训练模型，但它很少用于搜索组合优化问题的解决方案。在本文中，我们提出了一种新的大规模并行蒙特卡罗树搜索（MP-MCTS）算法，有效地工作在1,000工人规模，并将其应用于分子设计。这是第一个将分布式MCTS应用于现实世界和非游戏问题的工作。现有的大规模并行MCTS的工作表现出高效的可扩展性方面的推出多达100名工人的数量，但遭受的质量下降的解决方案。MP-MCTS在更大规模上保持搜索质量，并且通过在256个CPU核上运行MP-MCTS仅10分钟，我们获得了与运行42小时的非并行MCTS具有相似得分的候选分子。此外，我们基于并行MCTS（结合简单的RNN模型）的结果显着优于现有的最先进的工作。我们的方法是通用的，预计将加快其他应用的MCTS。
2021-04-06 cs.AI cs.DC
Efficient State-space Exploration in Massively Parallel Simulation Based Inference
基于仿真的推理（SBI）是一组广泛使用的算法，用于学习复杂科学仿真模型的参数。虽然这些算法主要在HPC集群中的CPU上运行，但当开发为在大规模并行架构（如GPU）上运行时，这些算法已被证明可以扩展性能。虽然并行化现有的SBI算法为我们提供了性能增益，但这可能不是利用所实现的并行性的最有效的方式。这项工作提出了一种新的算法，建立在现有的SBI方法-近似贝叶斯计算与顺序蒙特卡罗（ABC-SMC）。这种新的算法的目的是利用并行性，不仅为性能增益，但也对学习参数的定性利益。其关键思想是用从调整的Beta分布中采样的步长来取代单个“步长”超参数的概念，该超参数决定了在学习过程中如何探索参数的状态空间。这使得这种新的ABC-SMC算法能够更有效地探索正在学习的参数的状态空间。我们测试了所提出的算法的有效性，学习参数的流行病学模型上运行的特斯拉T4 GPU。与并行化的最先进的SBI算法相比，我们在$\sim 100$ x更少的模拟中获得了类似的质量结果，并且在10次独立试验中观察到运行间方差降低了约80倍。
2021-06-29 cs.DC
Massively-Parallel Lossless Data Decompression
如今，数据量呈指数级增长，存储成本高昂，这使得压缩对于大数据行业至关重要。虽然研究集中在高效压缩上，但快速解压缩对于重复读取压缩数据的分析查询至关重要。虽然解压缩可以通过将每个数据块分配给不同的进程来实现某种程度的并行化，但突破性的加速需要利用现代多核处理器和GPU的大规模并行性来进行块内的数据解压缩。我们提出了两种新的技术，以增加在解压缩的并行度。第一种技术利用GPU和SIMD架构的大规模并行性。第二个牺牲了一些压缩效率，以消除在解压缩过程中限制并行性的数据依赖性。我们评估这些技术的DEFLATE方案，称为膨胀，这是基于LZ77压缩和霍夫曼编码的解压。与几个基于多核CPU的库进行头对头比较，我们实现了2倍的速度提升，同时在压缩比相当的情况下实现了17%的节能。
2016-06-02 cs.DC
A Massively Parallel Algebraic Multigrid Preconditioner based on Aggregation for Elliptic Problems with Heterogeneous Coefficients
提出了一种基于非光滑聚合的大规模并行代数多重网格方法。它特别适合于解决异构椭圆问题，因为它使用贪婪的启发式算法进行聚合，检测系数的变化，并防止聚合。在每个进程上使用解耦聚合，在粗略级别上将数据聚集到更少的进程上，它在解决方案的总时间和每次迭代的时间方面都可以很好地扩展到近300，000个核心。由于简单的分段常数插值之间的水平，它的内存消耗低，并允许解决超过100，000，000，000自由度的问题。
2013-09-30 cs.DC cs.MS cs.NA
Kino-PAX$^+$: Near-Optimal Massively Parallel Kinodynamic Sampling-based Motion Planner
Department of Aerospace Engineering Sciences, University of Colorado Boulder（航空航天工程科学系，科罗拉多大学博尔德分校）；Department of Aerospace and Ocean Engineering, Virginia Tech（航空航天与海洋工程系，弗吉尼亚理工学院）
Kino-PAX$^+$是一种具有渐近近最优保证的并行运动规划器，通过并行计算显著提高了速度和解决方案质量。
2026-09-10 cs.DC cs.RO
Massively parallel lattice-Boltzmann codes on large GPU clusters
本文介绍了一个大规模并行代码的最先进的热晶格玻尔兹曼方法。我们的代码已经过精心优化，以提高单GPU上的性能，并具有良好的扩展行为，可扩展到大量GPU。该代码的版本已经用于对流湍流的大规模研究。GPU在HPC应用中越来越受欢迎，因为它们能够提供比传统处理器更高的性能。为大型集群编写高效的程序并不是一件容易的事情，因为代码必须适应日益并行的体系结构，并且必须正确处理节点到节点通信的开销。我们描述了我们的代码的结构，讨论了几个关键的设计选择，指导性能和实验基准的理论模型。我们提出了一套广泛的性能测量，并确定相应的主要bottlenecks，最后，我们比较我们的GPU代码与其他目前可用的高性能处理器上测量的结果。我们的结果是一个生产级的代码能够提供几十Tflops的持续性能，以及设计和优化的方法，可用于其他高性能的计算物理应用程序的开发。
2017-03-01 cs.DC
Massively Parallel Methods for Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）
我们提出了第一个用于深度强化学习的大规模分布式架构。该架构使用四个主要组件：生成新行为的并行演员;从存储的经验中训练的并行学习者;表示价值函数或行为策略的分布式神经网络;以及分布式经验存储。我们使用我们的架构来实现深度Q网络算法（DQN）。我们的分布式算法被应用到49个游戏从雅达利2600游戏的街机学习环境，使用相同的超参数。我们的性能在49款游戏中的41款中超过了非分布式DQN，并且在大多数游戏中减少了实现这些结果所需的墙时间。
2015-07-16 cs.AI cs.DC cs.LG
Massively parallel implementation and approaches to simulate quantum dynamics using Krylov subspace techniques
我们已经开发了一个应用程序，并实现了并行算法，以提供一个计算框架，适合大规模并行超级计算机研究量子系统的幺正动力学。我们使用著名的并行库，如PETSc/SLEPc与高性能计算方法相结合，以克服大内存的要求，能够研究系统的希尔伯特空间维度包括超过90亿个独立的量子态。此外，我们提供了用于模拟的三个最重要的阶段的并行方法的描述：处理希尔伯特子空间的基础上，构建一个通用的哈密顿算子和系统的时间演化的Krylov子空间方法的矩阵表示。我们采用我们的设置来研究准无序和清洁的多体系统的演化，专注于返回概率和相关的动力学指数：大系统的尺寸提供了新的见解，他们的热化特性。
2017-04-10 cond-mat.dis-nn cond-mat.str-el cs.DC
Massively Parallel Open Modification Spectral Library Searching with Hyperdimensional Computing
通常用于蛋白质鉴定的质谱法产生大量光谱，需要与大型数据库进行匹配。事实上，由于意想不到的翻译后修饰，它们中的大多数仍然未被识别或错配。开放修正搜索（OMS）是一种通过考虑光谱中每一种可能的变化来提高识别率的策略，但它以指数方式扩展了搜索空间。在这项工作中，我们提出了HyperOMS，它重新设计了基于超维计算的OMS，以应对这些挑战。与用浮点数表示光谱数据的现有算法不同，HyperOMS用高维二进制向量编码光谱数据，并在高维空间中执行高效的OMS。HyperOMS具有大量的并行性和简单的布尔运算，可以在并行计算平台上高效地处理。实验结果表明，与最先进的基于GPU的OMS工具相比，基于GPU的HyperOMS的速度快于$17\times$，并且$6.4\times$的能效更高，同时提供与竞争搜索工具相当的搜索质量。
2022-12-31 cs.DC
On-the-fly Vertex Reuse for Massively-Parallel Software Geometry Processing
由于计算模式执行的高度灵活性，计算模式渲染对于非标准渲染应用变得越来越有吸引力。这些新设计的流水线通常包括流顶点和几何处理阶段。在典型的三角形网格中，相同的变换顶点在渲染期间平均需要六次。为了避免冗余计算，传统上建议使用后变换缓存来重用顶点处理结果。然而，传统的缓存既不能随着硬件变得更加并行而很好地扩展，也不能在软件设计中有效地实现。我们研究替代策略重用顶点着色结果的大规模并行软件几何处理的飞行。在数据输入流上形成静态和动态映射，我们分析了基于排序、散列和高效的线程组内通信识别潜在本地重用的有效性。总之，我们提出了四个顶点重用策略，适合现代并行架构。我们的模拟表明，我们的基于批处理的策略显着优于并行缓存的重用。在实际的GPU硬件上，我们的评估表明，我们的策略不仅可以很好地重用处理结果，而且与在各种实际应用中天真地忽略重用相比，还可以通过$2-3\times$提高性能。
2018-05-22 cs.DC cs.GR
Robust Massively Parallel Sorting
我们调查分布式内存并行排序算法，规模最大的可用机器和强大的输入大小和分布的输入元素。主要的结果是，四个排序算法涵盖了整个范围的可能的输入大小。对于三个算法，我们设计了新的低开销机制，使他们强大的重复键和倾斜的输入分布。其中之一，专为中等规模的投入，是一个快速的高品质的枢纽选择快速排序的新变种。同时，渐近分析提供了性能保证，并指导算法的选择和配置。我们验证这些假设使用广泛的实验7算法，10个输入分布，多达262144个核心，和不同的输入大小超过9个数量级。对于困难的输入分布，我们的算法是唯一有效的算法。除了最大的输入大小，我们是第一个在如此大的机器上进行实验的人，我们的算法明显优于传统上认为的算法。
2020-01-16 cs.DC
Massively Parallel Proof-Number Search for Impartial Games and Beyond
本文提出了一种大规模并行证明数搜索算法，用于高效求解无偏游戏，并在Sprouts游戏中验证了猜想，实现了显著的加速和复杂度提升。
2026-02-09 cs.AI cs.DC cs.GT
Massively Parallel Phase-Field Simulations for Ternary Eutectic Directional Solidification
三元共晶定向凝固过程中形成的组织对合金的宏观力学性能有重要影响。对于一个现实的模拟，我们使用了良好建立的一致性相场方法，并改进了它与一个新的巨势公式耦合的浓度演变。由于温度依赖的扩散浓度，该扩展是非常计算密集的。我们显着扩展以前的模拟，使用更简单的相场模型或进行更小的域尺寸。新方法已在大规模并行HPC框架waLBerla中实现，该框架旨在有效利用当前的超级计算机。我们应用各种优化技术，包括缓冲技术，显式SIMD内核向量化，和通信隐藏。利用多达262，144个核心的模拟已经在三种不同的超级计算架构上运行，并且显示了弱可扩展性结果。此外，一个分层的，基于网格的数据减少策略的开发，以保持I/O问题的规模可管理。
2015-06-04 cs.DC physics.comp-ph
Solving the Bethe-Salpeter equation on massively parallel architectures
在过去的十年里，大规模并行计算集群迅速发展，从领先的超级计算设施到普通的大学计算中心。私营部门的许多公司也经历了类似的演变。在这种情况下，软件和中间件库的无缝集成是确保科学代码的可移植性并保证它们延长生命周期的关键因素。在这项工作中，我们描述了集成的ChASE库，一个现代的并行本征解算器，到现有的遗留代码的第一性原理计算材料的光学性质通过解决的Bethe-Salpeter方程的光学偏振功能。我们的数值测试表明，作为集成ChASE和并行化的读取例程的结果，代码经历了显着的加速，并大大提高了多核和众核架构上的扩展行为。我们证明，这样一个现代化的BSE代码，充分利用并行计算架构和文件系统，使域科学家能够准确地研究复杂的材料系统，以前无法访问。
2020-06-15 cs.CE cs.DC physics.comp-ph
An open source massively parallel solver for Richards equation: Mechanistic modelling of water fluxes at the watershed scale
在本文中，我们提出了一个大规模并行开源求解理查兹方程，命名为RichardsFOAM求解器。该求解器是在开源通用计算流体动力学工具箱OpenFOAM（R）的框架内开发的，能够处理空间和时间上的大规模问题。RichardsFOAM的源代码可从CPC程序库网站下载，它具有良好的并行性能（在强、弱缩放下，1024个处理器的并行效率可达$\sim$ 90%），并分析和讨论了获得这种性能所需的条件。这些性能使得能够在实验流域的尺度上（最多几平方公里的表面积）和几十年到一个世纪的时间尺度上对水通量进行机械建模。这样的求解器可以在各种应用中是有用的，例如用于土壤中污染物的长期运输的环境工程、用于评估土地沉降对水资源的影响的水工程、或者用于流域上的风化过程的研究。
2018-09-28 cs.CE cs.DC
Programming Massively Parallel Architectures using MARTE: a Case Study
如今，一些工业应用程序正在移植到并行架构。这些应用程序利用了多核处理器提供的潜在并行性。自2003年以来，众核处理器，特别是GPU（图形处理单元），一直引领着浮点性能的竞赛。虽然通用微处理器的性能提升已经明显放缓，但GPU却在坚持不懈地继续改进。截至2009年，众核GPU和多核CPU的峰值浮点计算吞吐量之比约为10倍。然而，由于并行编程需要任务和数据的非平凡分布，开发人员发现很难有效地实现他们的应用程序。为了提高众核处理器的使用，这项工作提出了一个案例研究，使用UML和MARTE配置文件指定和生成OpenCL代码密集的信号处理应用程序。基准测试结果表明，我们的可行性使用MDE方法来生成GPU应用程序。
2011-03-24 cs.DC cs.SE
A massively parallel semi-Lagrangian solver for the six-dimensional Vlasov-Poisson equation
本文提出了一个优化的和可扩展的半拉格朗日求解器的Vlasov-Poisson系统在六维相空间。已知基于网格的Vlasov方程求解器可以给出精确的结果。同时，这些求解器受到维数灾难的挑战，导致非常高的内存需求，而且，需要高效的并行化方案。在本文中，我们考虑了6d Vlasov-Poisson问题离散的分步半拉格朗日格式，使用连续的一维插值一维条纹的6d域。两个并行化范例进行了比较，一个重映射计划和一个经典的区域分解方法适用于完整的6D问题。从数值实验，后者的方法被发现是优越的大规模并行的情况下，在各个方面。我们解决的挑战，人为的时间步长的限制，由于域的分解，通过引入一个阻塞的单侧通信计划的纯静电的情况下，一个旋转网格的情况下，具有恒定的磁场。此外，我们提出了一个流水线计划，使隐藏成本的光环相邻进程之间的通信有效地背后有用的计算。并行可扩展性高达65 K的过程中表现出的基准问题上的超级计算机。
2019-03-01 cs.DC physics.comp-ph physics.plasm-ph
A System Level Compiler for Massively-Parallel, Spatial, Dataflow Architectures
本文提出多架构编译器MACH，专为大规模并行空间数据流架构设计，通过虚拟机与领域特定语言降低编译复杂度，并演示从NumPy稠密张量到晶圆级引擎的降级。
2025-06-18 cs.AR cs.DC cs.ET
GLoP: Enabling Massively Parallel Incident Response Through GPU Log Processing
结合服务和应用程序的大型工业系统已成为网络犯罪分子的目标，并从安全，监控和审计的角度提出了挑战。安全日志分析是发现异常、检测入侵和启用事件响应的关键步骤。链接速度、威胁和用户的不断增加产生了大量的日志数据，并且越来越难以在中央处理器（CPU）上进行分析。本文提出了一种大规模并行图形处理单元（GPU）LOg处理（GLoP）库，也可用于深度数据包检测（DPI），使用前缀匹配技术，收获现成技术的全部功能。GLoP使用不同的GPU内存实现了两种不同的算法，并与CPU对应的实现进行了比较。该库可用于具有单个或多个GPU的处理节点以及GPU云农场。结果显示，吞吐量为20 Gbps，并表明现代GPU可以用于提高大规模日志处理场景的运行速度，从而节省入侵发生前后的宝贵时间。
2017-04-07 cs.CR cs.DC
A Python Extension for the Massively Parallel Multiphysics Simulation Framework waLBerla
我们提出了一个Python扩展的大规模并行HPC仿真工具包waLBerla。waLBerla是一个基于模板的算法框架，在块结构网格上运行，主要应用领域是使用格子玻尔兹曼方法在复杂几何形状中进行流体模拟。精心的性能工程可实现出色的节点性能和超过400，000个内核的良好可扩展性。为了提高框架的可用性和灵活性，开发了一个Python接口。Python扩展用于仿真管道的所有阶段：它们简化和自动化场景设置，评估和绘图。我们展示了我们的Python接口如何优于现有的基于文本文件的配置机制，提供了物理量的自动无量纲化和复杂参数依赖关系的处理等功能。此外，Python用于在模拟运行时处理和评估结果，从而导致输出文件更小，并且可以根据当前模拟状态调整参数。C++数据结构被导出，从而可以无缝地连接到其他数值Python库。Python的表达能力和C++的性能使得以较低的时间工作量开发高效的代码成为可能。
2015-11-23 cs.DC cs.MS
Massively parallel approximate Gaussian process regression
我们探讨了三大计算范式-对称多处理器（SMC），图形处理单元（GPU）和集群计算-可以一起带来裸露的大数据高斯过程（GP）回归问题，通过仔细实施一个新开发的本地近似方案。我们的方法贡献主要集中在GPU计算上，因为这需要最多的关注，也提供了最大的性能提升。然而，在我们的实证工作中，我们研究了所有三种范式的相对优点，以确定如何最好地将它们结合起来。本文最后以两个案例研究结束。一个是一个真正的数据流体动力学计算机实验，受益于我们的近似的本地性质;第二个是一个合成数据的例子，旨在找到最大的设计，（准确）GP仿真可以在一个小时内进行相称的预测集。
2014-06-04 cs.DC stat.CO
Massively Parallel Graph Drawing and Representation Learning
Ludwig-Maximilians-Universität Munich（慕尼黑大学）；University of Vienna（维也纳大学）
为了充分利用现代多核处理器的性能潜力，必须以多种方式并行化大数据的机器学习和数据采掘算法。今天的CPU由多个核心组成，每个核心都遵循一个独立的控制线程，每个核心都配备了多个算术单元，可以对多个数据对象的向量执行相同的操作。图嵌入，即将图的顶点转换为数值向量，是一项非常重要的数据采掘任务，对于图绘制（低维向量）和图表示学习（高维向量）非常有用。在本文中，我们提出了多核GEMPE（通过最小化预测熵的图形嵌入），一个信息理论的方法，可以生成低维和高维向量。MulticoreGEMPE应用MIMD（多指令多数据，使用OpenMP）和SIMD（单指令多数据，使用AVX-512）并行。我们提出了适用于其他基于图形的算法，如\emph{vectorized hashing}和\emph{vectorized reduction}的一般思想。我们的实验评估证明了我们的方法的优越性。
2020-11-06 cs.DC cs.LG
A Solver for Massively Parallel Direct Numerical Simulation of Three-Dimensional Multiphase Flows
我们提出了一个新的求解器，完全三维多相流的大规模并行模拟。求解器运行在从笔记本电脑到超级计算机的各种计算机架构上，并运行在65536个线程或更多线程上（仅受限于我们的可用性）。代码完全由作者在Fortran 2003中编写，并使用域分解策略与MPI并行化。流体界面求解器是基于LCRM混合前沿跟踪/水平集方法的并行实现，该方法旨在处理具有复杂拓扑变化的高度变形界面。我们讨论了这种接口方法的实现及其对分布式处理的特殊适用性，在分布式子域上进行本地所有操作。我们已经开发了并行GMRES和多重网格迭代求解器，适用于线性系统所产生的流体速度和压力的隐式解决方案中存在的强密度和粘度跨流体相的不连续性。特别注意的是提请并行多重网格求解器的细节和性能。该代码包括模块的流动相互作用与浸没的固体物体，接触线动力学，物种和热传输与相变。然而，在这里，我们专注于模拟的典型问题的滴飞溅到液体薄膜和报告的并行性能的代码上不同数量的线程。三维模拟运行网格分辨率高达$1024^3$与结果在更高的分辨率显示的细节和功能的液滴喷射，冠形成和边缘不稳定性在类似的实验条件下观察。保留字：
2014-10-30 cs.DC physics.comp-ph physics.flu-dyn
Scheduling massively parallel multigrid for multilevel Monte Carlo methods
三维偏微分方程的朴素的、基于采样的不确定性量化的计算复杂性是非常高的。多级方法，如多级蒙特卡罗（MLMC），可以大大降低复杂性，但充分利用它们在并行环境中，复杂的调度策略是必要的。通常，并行执行的快速算法对于计算3D中的精细水平样本是必不可少的，而为了计算单独的粗略水平样本，只能有效地采用中等数量的处理器。我们利用多个实例的并行多重网格求解器结合先进的负载均衡技术。特别是，我们优化的并发执行的MLMC方法的三个层：跨级别，跨样本，跨空间网格的并行化。将分析这些方法的整体效率和性能。这里，多重网格求解器的可扩展性窗口被揭示为是必不可少的，即，该属性的解决方案可以计算的进程数的范围，同时保持良好的并行效率。我们评估了一系列的数值测试中的新的调度策略，并得出结论，证明大型3D缩放实验的文件。
2016-07-12 cs.CE cs.DC cs.MS
Massively Parallel Probabilistic Computing with Sparse Ising Machines
受量子计算发展的启发，构建特定领域的经典硬件来解决计算困难的问题越来越受到关注。在这里，通过引入系统的稀疏化技术，我们展示了一个大规模的并行架构：稀疏伊辛机（sIM）。利用稀疏性，sIM实现了理想的并行性：其关键品质因数-每秒翻转-与系统中的概率位（p位）数量呈线性关系。这使得sIM比实现标准吉布斯采样的CPU快6个数量级。与TPU和GPU中的优化实现相比，sIM在采样方面提供了5- 18倍的加速。在整数分解等基准问题中，sIM可以可靠地分解高达32位的半素数，远远大于D-Wave和其他概率求解器的先前尝试。引人注目的是，sIM在解决3SAT问题方面击败了竞赛获奖的SAT求解器（在运行时达到4- 700倍，达到95%的准确率）。即使使用更快的时钟使采样不精确，sIM也可以通过进一步的加速找到正确的基态。我们介绍的问题编码和稀疏化技术可以应用于其他伊辛机（经典和量子），我们提出的架构可以用于通过模拟CMOS或纳米器件将演示的5，000 - 10，000 p比特扩展到1，000，000或更多。
2022-02-21 cond-mat.dis-nn cs.DC cs.ET
