A Bit-Compatible Shared Memory Parallelization for ILU(k) Preconditioning and a Bit-Compatible Generalization to Distributed Memory
ILU(k)是稀疏、非对称系统的迭代线性求解器的常用预处理器。它通常是为了它的稳定性。我们提出了TPILU(k),第一个有效的并行ILU(k)预条件,保持这一重要的稳定性。甚至更好的是,TPILU(k)预处理产生与顺序ILU(k)预处理位兼容的答案。在性能方面,TPILU(k)预处理被证明运行更快,只要更多的核心提供给它-同时继续作为顺序ILU(k)的稳定。这与一些竞争方法形成对比,如果线程并行度提高太多,这些方法可能会变得不稳定。如果Block Jacobi ILU(k)在应用中失败,则可以用TPILU(k)代替,以保持良好的性能,同时还实现完全的稳定性。作为进一步的优化,TPILU(k)提供了一个可选的基于水平的不完全逆方法,作为对原始ILU(k)预处理矩阵的快速近似。虽然这种增强与经典的ILU(k)不是位兼容的,但它与来自相同算法的单线程版本的输出是位兼容的。在16核计算机上的实验中,增强的基于TPILU(k)的迭代线性求解器的执行速度提高了9倍。随着我们进入众核计算时代,有效利用多核的能力将变得越来越重要。TPILU(k)在集群或网格上也表现出良好的性能。例如,新算法实现了50倍的加速与80个节点的一般稀疏矩阵的维数为160,000,是对角占优。
2011-05-12 cs.DC
Enhanced computation method of topological smoothing on shared memory parallel machines
为了更好地分割图像,我们需要预处理应用程序,例如平滑,以减少噪声。在本文中,我们提出了一个增强的计算方法,平滑二维物体在二进制的情况下。与现有的方法不同,所提出的方法提供了一个并行计算和更好的存储管理,同时保留的拓扑结构(连接组件的数量)的原始图像通过使用同伦变换定义的数字拓扑结构的框架。我们引入了一个适应的并行化策略,称为分裂,分布和合并(SDM)的策略,它允许有效的并行化的一大类拓扑运算符。为了获得更好的加速比和更好的内存分配,我们关注任务调度和管理。平滑过程中的分布式工作由可变数量的线程完成。在2D灰度图像(512*512)上,使用8核共享内存并行机(SMPM)(2个Xeon E5405,运行频率为2GHz)进行测试,性能提升5.2,缓存成功率为70%。
2016-03-30 cs.DC
OMPILOT: Harnessing Transformer Models for Auto Parallelization to Shared Memory Computing Paradigms
Department of Computer Science, Iowa State University, Ames, IA, USA(伊阿华州立大学计算机科学系);Mako AI, USA(Mako AI公司);Argonne National Laboratory, USA(阿贡国家实验室);Code Metal, USA(Code Metal公司);Intel Labs, USA(英特尔实验室);Cisco Outshift, USA(Cisco Outshift公司)
针对代码翻译中共享内存并行化的需求,本文提出领域特定编码器-解码器Transformer模型OMPILOT,通过自定义预训练目标与函数级语义捕捉,实现C++到OpenMP的转换,并设计OMPBLEU指标评估其性能。
2025-11-11 cs.AI cs.DC cs.LG
Learning to Parallelize in a Shared-Memory Environment with Transformers
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Nuclear Research Center – Negev(内盖夫核研究中心);Technion – Israel Institute of Technology(以色列理工学院)
在过去的几年里,世界已经转向众核和多核共享内存架构。因此,越来越需要通过将共享存储器并行化方案引入到软件应用程序来利用这些架构。OpenMP是实现此类方案的最全面的API,其特点是具有可读接口。然而,由于并行共享内存管理中普遍存在的缺陷,将OpenMP引入代码具有挑战性。为了促进此任务的性能,多年来已经创建了许多源到源(S2 S)编译器,其任务是将OpenMP指令自动插入代码中。除了对输入格式的鲁棒性有限之外,这些编译器在定位可并行化代码和生成适当的指令方面仍然没有达到令人满意的覆盖率和精度。在这项工作中,我们建议利用ML技术的最新进展,特别是在自然语言处理(NLP)中,完全取代S2 S编译器。我们创建了一个数据库(语料库),Open-OMP,专门为这个目标。Open-OMP包含超过28,000个代码片段,其中一半包含OpenMP指令,而另一半完全不需要并行化。我们使用该语料库来训练系统,以自动对需要并行化的代码段进行分类,并建议各个OpenMP条款。我们训练几个Transformer模型,命名为PragFormer,这些任务,并表明,他们优于训练的基线和自动S2 S并行编译器在分类的总体需求的一个OpenMP指令和引入私有和减少条款。我们的源代码和数据库可以在https://github.com/Scientific-Computing-Lab-NRCN/PragFormer上找…
2022-07-14 cs.CL cs.DC cs.LG
A fine-grained parallelization of the immersed boundary method
我们提出了新的算法,用于浸没边界法中欧拉-拉格朗日相互作用操作的并行化。我们的算法依赖于两个经过充分研究的并行基元:键-值排序和分段约简。这些并行原语的使用允许我们在图形处理单元(GPU)和其他共享内存架构上实现我们的算法。我们提出了强和弱标度测试的问题,涉及分散的点和弹性结构。我们的测试表明,我们的算法在多核CPU和GPU上都表现出接近理想的扩展性。
2021-10-29 cs.DC cs.NA math.NA
A parallel fast multipole method for a space-time boundary element method for the heat equation
提出了一种新的方法,将抛物型快速多极子方法并行化,用于热传导方程的时空边界元方法。我们利用所涉及的运营商的特殊的时间结构,提供一个有效的分布式并行化的时间和单向通信模式。在上面,我们应用基于任务的共享内存并行化和SIMD向量化。在数值测试中,我们观察到我们的并行化方法的高效率。
2023-01-29 cs.DC cs.NA math.NA
Bit-level Parallelization of 3DES Encryption on GPU
三重DES(3DES)是一种标准的基本加密算法,用于多种电子支付应用程序和Web浏览器。在本文中,我们提出了一个并行实现的3DES在GPU上。由于3DES使用64位块加密数据,因此我们的方法将每个64位块视为内核块,并分配一个单独的线程来处理每个位。算法的置换操作、XOR操作和S盒操作在这些内核块内并行完成。该实现得益于使用常量和共享内存类型来优化内存访问。结果显示,与基准多线程CPU实现相比,平均速度提高了10.70倍。该实现可在https://github.com/kaanfurkan35/3DES_GPU上公开获取
2020-07-21 cs.CR cs.DC
An Asynchronous Many-Task Algorithm for Unstructured $S_{N}$ Transport on Shared Memory Systems
University of Bristol(布里斯托大学);AWE(英国原子能管理局)
针对非结构化网格离散纵标 $S_N$ 输运求解器在共享内存众核架构上的扩展性瓶颈,提出一种新的异步多任务(AMT)算法,显著提升了计算性能并分析了改善原因。
2025-10-13 cs.DC
Improving Latency in a Signal Processing System on the Epiphany Architecture
在本文中,我们使用Adapteva Epiphany众核芯片来演示如何通过任务和数据并行化以及数据流水线的组合来优化通常在LTE或WiFi中发现的基带信号处理链的吞吐量和延迟。Epiphany的共享内存架构促进了并行化和数据流水线,并且一个核心上的处理器可以直接写入芯片上任何其他核心的内存。
2015-12-17 cs.DC
Benchmarking and Parallelization of Electrostatic Particle-In-Cell for low-temperature Plasma Simulation by particle-thread Binding
针对PIC模拟中电荷沉积子程序的并行瓶颈,提出基于粒子-线程绑定的方法,仅需极少量私有网格即可增强可扩展性,在1000核系统上验证了其高效性且硬件依赖低。
2025-06-26 cs.DC physics.comp-ph physics.plasm-ph
Shared Memory Parallel Subgraph Enumeration
子图枚举问题要求我们找到目标图中与给定模式图同构的所有子图。确定是否存在一个这样的同构子图是NP-完全的,因此找到所有这样的子图(如果它们存在)是一项耗时的任务。子图枚举在许多领域都有应用,包括生物化学和社交网络,有趣的是,解决生化输入问题的最快算法是顺序的。由于它们依赖于深度优先的树遍历,因此高效的并行化远非微不足道。然而,由于重要的应用程序产生的数据集越来越困难,并行似乎是有益的。因此,我们在这里提出了Bonnici等人[BMC Bioinformatics,2013]的最先进的子图枚举算法RI和RI-DS(用于密集图的RI变体)的共享内存并行化。我们的策略使用工作窃取,我们的实现在现实世界的生化数据上显示出显着的加速-尽管数据访问模式非常不规则。我们还通过更好地修剪搜索空间来改进RI-DS;与已经高度调优的RI-DS相比,这进一步改善了经验运行时间。
2017-05-25 cs.DC cs.DS
Multi-dimensional intra-tile parallelization for memory-starved stencil computations
优化模板算法的性能一直是过去二十年来深入研究的主题。由于许多模板方案具有较低的运算强度,因此大多数优化都集中在增加时态数据访问局部性上,从而减少通过主存接口的数据流量,最终目标是与此瓶颈解耦。然而,只有少数方法明确利用现代多核芯片的共享缓存功能。如果每个线程都在其私有的、单独的缓存块上工作,则可用的缓存空间可能变得太小,并且可能无法实现足够的时间局部性。我们提出了一种灵活的多维瓦片内并行化方法的模板算法在多核CPU与共享外层缓存。这种方法导致所需的高速缓存空间的显着减少,而不会受到硬件预取或TLB不足的不利影响。我们的\emph{Girih}框架包括一个自动调谐器,用于在目标硬件上选择最佳参数配置。我们在两个当代英特尔处理器上进行性能实验,并与最先进的模板框架PLUTO和Pochoir进行比较,使用四个角案例模板方案和各种各样的问题大小。\emph{Girih}在几乎所有的问题规模上都表现出显著的性能优势和最佳的算术强度,特别是在变系数的低强度stentleman上。我们详细研究了性能行为在不同的网格大小,使用现象学的性能建模。我们的能源消耗分析表明,我们的方法可以节省能源,减少DRAM的带宽使用,即使在边际性能增益。因此,它非常适合未来的架构,这些架构将受到数据移动成本的强烈挑战,无论是在性能还是能耗方面。
2015-10-16 cs.DC cs.PF
Adaptive parallelization of multi-agent simulations with localized dynamics
针对多智能体仿真(MABSs)大规模计算耗时问题,提出一种共享内存、自下而上的异步并行执行协议,适用于局部更新的顺序计算模型,在文化动力学与疾病传播仿真中展现了性能提升。
2023-04-04 cs.CE cs.DC cs.MA
Proven Distributed Memory Parallelization of Particle Methods
本文提出并数学证明了粒子方法在分布式内存系统上的并行化方案,证明其与串行实现形式等价,为现有及新并行软件奠定了理论基础。
2024-01-04 cs.DC cs.DS cs.SE
Advising OpenMP Parallelization via a Graph-Based Approach with Transformers
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Israel Atomic Energy Commission(以色列原子能委员会);Intel Labs(英特尔实验室);Nuclear Research Center – Negev(内盖夫核研究中心);Technion – Israel Institute of Technology(以色列理工学院)
提出OMPify方法,结合图表示与Transformer模型预测串行C/C++代码的OpenMP并行化指令,在F1分数和准确率上优于ChatGPT和PragFormer,基准测试准确率达90%。
2023-05-16 cs.AI cs.DC cs.LG
Parallel Adaptive Sampling with almost no Synchronization
当精确解太昂贵时,通过采样进行近似是一种广泛使用的技术。在本文中,我们提出了一个有效的自适应(a。K. a.渐进的)采样算法。我们的基本算法技术不需要同步,除了原子加载-获取和存储-释放操作。但是,它确实需要每个线程O(n)内存,其中n是采样状态的大小。我们提出的算法的变体,要么减少这种内存消耗到O(1)或确保确定性的结果获得。使用KADABRA算法介数中心(网络分析中的一种流行的措施)近似作为一个案例研究,我们证明了我们的技术的经验性能。特别是,在32核机器上,我们的最佳算法比使用简单的基于OpenMP的并行化快2.9倍,比现有的KADABRA实现快65.3倍。
2019-03-22 cs.DC
GPU Parallelization Strategies for Forward and Backward Propagation in Shallow Neural Networks: A CUDA-Based Comparative Study
本研究比较了浅层神经网络中前向和反向传播的三种CUDA优化策略(平铺共享内存、预转置权重矩阵、融合MatMul+ReLU核),在NVIDIA Tesla T4上实现1.41倍加速。
2026-06-29 cs.DC cs.LG
Block-Parallel IDA* for GPUs (Extended Manuscript)
Graduate School of Arts and Sciences(艺术与科学研究生院);The University of Tokyo(东京大学)
我们研究了基于GPU的迭代深化A*(IDA*)的并行化。我们表明,简单的基于线程的并行化技术,以前提出的大规模并行SIMD处理器执行不佳,由于翘曲发散和负载不平衡。我们提出了块并行IDA*(BPIDA*),它将子树的搜索分配给块(一组可以访问快速共享内存的线程)而不是线程。在15-puzzle上,与在Xeon E5-2670内核上高度优化的顺序IDA* 实现相比,在具有1536个CUDA内核的NVIDIA GRID K520上的BPIDA* 实现了4.98的加速比。
2017-05-08 cs.AI cs.DC
Scaling Betweenness Approximation to Billions of Edges by MPI-based Adaptive Sampling
介数中心性是网络分析中最常用的顶点中心性度量之一。因此,许多(顺序和并行)算法来计算或近似介数已被设计出来。最近的算法进步使得在共享内存架构上非常有效地近似介数成为可能。然而,最好的共享内存算法仍然需要几个小时的运行时间来处理大型图,特别是对于直径很大的图或者需要较小的相对误差的图。在这项工作中,我们提出了一个基于MPI的推广国家的最先进的共享内存算法介数近似。该算法是基于自适应采样,我们的并行化策略可以以同样的方式适用于其他问题的自适应采样算法。在一个16节点集群的实验中,我们基于MPI的实现是由一个因素的16.1倍的速度比最先进的共享内存实现时,考虑我们的并行化的重点-自适应采样阶段-只有。对于完整的算法,我们获得了7.4倍的平均(几何平均)加速因子。对于一些以前非常具有挑战性的输入,这种加速要高得多。因此,我们的算法是第一个在不到十分钟的时间内以高精度近似具有数十亿条边的图的介数中心性的算法。
2019-10-24 cs.DC cs.DS cs.SI
Parallelization Strategies for the Randomized Kaczmarz Algorithm on Large-Scale Dense Systems
针对现有Kaczmarz算法并行研究多聚焦稀疏系统的问题,本文探究大规模稠密系统下共享与分布式内存的并行化方案,实现RKA方法并提出性能更优的分块平均方法。
2024-01-30 cs.DC cs.NA math.NA
Parallelization of Software Systems Test Case Selection Algorithm Based on Singular Value Decomposition
针对回归测试中受影响部分难以识别的问题,本文利用奇异值分解按系统功能聚类变更,并在共享内存系统上并行计算,以提升测试用例选择的速度与可扩展性。
2024-05-10 cs.DC cs.NA cs.SE
Merge Path - A Visually Intuitive Approach to Parallel Merging
合并两个已排序数组是排序和其他函数的重要构建块。其高效的并行化要求在计算核心之间平衡负载,最大限度地减少并行化带来的额外工作,并最大限度地减少线程间同步要求。有效使用内存也很重要。我们提出了一种新颖的、视觉上直观的方法,将两个输入排序数组划分为成对的连续元素序列,每个数组一个,使得1)每对包括任何所需的元素总数,以及2)每对的元素在输出合并排序数组中形成连续序列。虽然所得到的分区和计算复杂性类似于某些以前的算法,我们的方法是不同的,非常直观,并提供了有趣的见解。在此基础上,我们提出了一个无同步,高速缓存效率的合并(和排序)算法。虽然我们使用共享内存架构作为基础,我们的算法很容易适应其他架构。事实上,我们的方法甚至与高速缓存高效顺序排序有关。算法,以及重要的高速缓存相关的见解。
2014-06-20 cs.DC
Massive parallelization and performance enhancement of an immersed boundary method based unsteady flow solver
本文使用OpenACC将基于浸入边界法的CFD求解器移植到GPU,实现大规模并行化,相较CPU并行版本加速达O(10)量级,并验证了其随网格规模的良好可扩展性。
2024-02-27 cs.DC physics.comp-ph physics.flu-dyn
Algorithms for Parallel Shared-Memory Sparse Matrix-Vector Multiplication on Unstructured Matrices
针对非结构化稀疏矩阵,提出六种混合SpMV算法,结合并行化、存储格式和非零排序优化,其中一种在多CPU架构上性能提升19%,并分析存储格式转换开销。
2025-02-26 cs.DC
A Scalable Shared-Memory Parallel Simplex for Large-Scale Linear Programming
单纯形表在工业界和学术界得到了广泛的应用和研究。随着大数据时代的到来,越来越大的问题需要在越来越大的机器中解决,这些机器的架构类型在该算法的概念中并不存在。在本文中,我们提出了一个共享内存并行实现的单纯形表算法密集的大规模线性规划(LP)的问题,用于现代多核架构。我们提出的一般计划,并解释了并行化的标准单纯形算法的每一步所采取的策略,强调解决性能瓶颈的解决方案。我们分析了加速比和并行效率相对于标准的单纯形算法,使用64个处理核心的共享存储器系统的建议的实施。实验进行了几个不同的问题,多达8192个变量和约束,在其原始和对偶配方。结果表明,当我们使用更多的变量比不等式约束的配方的性能大多是好得多。此外,他们表明,并行化策略,以避免瓶颈导致的实施规模以及与问题的大小和核心数达到一定的限制问题的大小。进一步的分析表明,这一比例限制是资源限制的结果。尽管如此,我们的实现还是能够达到19倍左右的加速。
2019-05-27 cs.DC cs.MS
Online and Real-time Object Tracking Algorithm with Extremely Small Matrices
Intel Parallel Computing Labs(英特尔并行计算实验室);Intel Data Center Group(英特尔数据中心集团)
在线和实时的【形】对象跟踪是一种有趣的工作负载,可用于跟踪对象(例如,汽车、人、动物)在一系列视频序列中实时的【形】。对于边缘设备上的简单对象跟踪,对象跟踪的输出可以像在检测到的对象周围绘制限界框一样简单,并且在某些情况下,在这种计算中使用的输入矩阵非常小(例如,4x 7、3x 3、5x 5等)。因此,实际工作量很低。因此,典型的基于多线程的并行化技术不能加速跟踪应用;相反,基于吞吐量的并行化技术,其中每个线程对独立的视频序列进行操作是更有益的。在本文中,我们分享我们的经验,在共享内存多核并行化的简单在线和实时的【形】跟踪(SORT)应用程序。
2021-03-22 cs.DC cs.LG stat.ML
Parallel performance of shared memory parallel spectral deferred corrections
Hamburg University of Technology(汉堡工业大学);Univ. Grenoble Alpes / Laboratoire Jean Kuntzmann / Inria(格勒诺布尔阿尔卑斯大学/让·孔特实验室/法国国家信息与自动化研究所);Technical University of Munich(慕尼黑工业大学)
本文研究了共享内存中并行谱延迟校正方法的性能,通过OpenMP实现并对比了不同积分器的速度提升。
2026-03-03 cs.CE cs.DC cs.NA
Frustrated with MPI+Threads? Try MPIxThreads!
针对 MPI+Threads 混合编程存在线程间无法用 MPI 通信、易串行化致性能差的问题,提出 MPIX Thread Communicator 扩展,为线程分配独立 MPI 秩,构建统一并行环境,实现代码更简洁、性能更优。
2024-01-29 cs.DC
Massively Parallel Proof-Number Search for Impartial Games and Beyond
本文提出了一种大规模并行证明数搜索算法,用于高效求解无偏游戏,并在Sprouts游戏中验证了猜想,实现了显著的加速和复杂度提升。
2026-02-09 cs.AI cs.DC cs.GT
A stencil-based implementation of Parareal in the C++ domain specific embedded language STELLA
ETH Zürich(苏黎世联邦理工学院);Università della Svizzera italiana(瑞士意大利语大学)
本文提出在STELLA中实现时间并行的Parareal方法,结合节点级空间并行与时间并行,通过MPI实现Parareal,分析了CPU和GPU后端在对流扩散问题中的加速、并行效率和能耗。
2014-12-03 cs.DC cs.NA math.NA
Beam-tracing domain decomposition method for urban acoustic pollution
本文介绍了在低资源并行平台上快速解决大型声学问题的方法。一种区域分解方法与动态负载平衡方案相结合,以有效地加速几何声学方法。研究的几何方法实现了一个光束跟踪方法的交叉处理的光线跟踪方法。除了在多个子域上的全局处理的分布之外,第二并行化级别借助于多线程和共享存储器机制来操作。数值实验表明,这种方法允许处理大规模的开放域的并行计算的目的在几台机器上。在日本东京新宿区的一个大型模型上模拟了汽车交通引起的城市声污染。良好的加速结果说明了这种新的区域分解方法的性能。
2019-12-09 cs.DC physics.comp-ph
A Framework for Practical Parallel Fast Matrix Multiplication
Stanford University(斯坦福大学);Sandia National Laboratories(桑迪亚国家实验室)
本文提出一个框架,展示新型快速矩阵乘法算法在中等规模问题上优于传统算法和Strassen算法,同时探讨矩阵形状对算法选择的影响,并开发代码生成工具实现多种并行变体。
2014-09-09 cs.DC cs.MS cs.NA
A Parallel and Distributed Rust Library for Core Decomposition on Large Graphs
University of Pisa(比萨大学);University of Calabria(卡拉布里亚大学)
本文提出了一种基于Rust语言的并行和分布式库,用于高效计算大规模图的核心分解,通过优化算法和并发机制实现了显著的速度提升。
2025-11-28 cs.DC
Parallel Local Graph Clustering
图聚类在计算中有许多重要的应用,但由于图的大小不断增加,即使是传统的快速聚类方法,如谱划分,对于现实世界的感兴趣的图来说,计算成本也很高。部分出于这一动机,所谓的局部算法图聚类已收到显着的兴趣,由于这样的事实,他们可以找到良好的集群在一个图形中的工作成比例的集群的大小,而不是整个图形。事实证明,这个特性对于使这种图聚类及其许多下游应用程序在实践中高效至关重要。虽然局部聚类算法已经比触及整个图的传统算法更快,但它们是顺序的,并且有机会通过并行化使它们更有效。在本文中,我们展示了如何并行化这些算法中的许多共享内存多核设置,我们分析了这些算法的并行复杂性。我们提出了全面的大规模图形实验表明,我们的并行算法实现了良好的并行加速现代多核机器,从而显着加快了本地图形集群的分析在非常大规模的设置。
2019-06-08 cs.DC
CCCL: Node-Spanning GPU Collectives with CXL Memory Pooling
University of California, Merced(加州大学默塞德分校);Zhejiang University(浙江大学);ByteDance(字节跳动);Xconn-Tech(芯联创科技)
本文提出CCCL库,利用CXL共享内存池实现跨节点GPU操作,解决同步、数据交错和通信并行化问题,实验显示在多个节点上性能提升显著,证明CXL在可扩展内存导向GPU通信中的潜力。
2026-05-06 cs.DC cs.ET
Parallel Flow-Based Hypergraph Partitioning
我们提出了一个共享内存并行化的基于流的细化,这被认为是目前最强大的迭代改进超图分区技术。基于流的细化工作在二分区上,因此当前的顺序分区器将其调度在不同的块对上,以改进$k$路分区。我们调查两个不同的来源的并行性:并行调度方案和并行最大流算法的基础上著名的推重新标记算法。除了彻底的工程实现之外,我们还提出了几种优化方法,这些优化方法在实践中大大加速了算法,从而能够在非常大的超图(高达10亿个引脚)上使用。我们将我们的方法集成到最先进的并行多级框架Mt-KaHyPar中,并在500多个真实超图的基准集上进行了广泛的实验,以表明我们代码的分区质量与最高质量的顺序代码(KaHyPar)相当,而10个线程的速度要快一个数量级。
2022-01-05 cs.DC cs.DS
Greed is Good: Optimistic Algorithms for Bipartite-Graph Partial Coloring on Multicore Architectures
在并行计算中,有效的图着色产生着色任务、数据点等的无锁处理,而不需要昂贵的同步机制。然而,着色不是免费的,开销可能很大。具体地,对于在科学计算和数值优化领域内具有各种用例的二分图部分着色(BGPC)和距离2图着色(D2 GC)问题,对于许多现实生活中的图,着色开销可以是单个线程的分钟数量级。在这项工作中,我们提出了共享内存架构上的偶图部分着色的并行算法。与现有的共享内存BGPC算法相比,所提出的算法采用更贪婪和更乐观的技术,产生更好的并行着色性能。特别是,在16个核心上,所提出的算法的执行速度比ColPack库中的对应算法快4倍以上,据我们所知,ColPack库是多核架构中唯一公开可用的着色库。除了BGPC,所提出的技术来设计并行的距离-2图着色算法和类似的性能改善已被观察到。最后,我们提出了两个无成本的平衡算法BGPC,可以减少偏度和不平衡的颜色集的基数(几乎)免费。该算法也可以用于D2 GC问题,一般来说,它们可能会产生更好的基于颜色的并行化性能,特别是在众核架构上。
2017-01-10 cs.DC cs.DS
Cache Blocking of Distributed-Memory Parallel Matrix Power Kernels
Institute of Physics, University of Greifswald(格赖夫斯瓦尔德大学物理研究所);Delft Institute of Applied Mathematics, Delft University of Technology(代尔夫特理工大学应用数学研究所)
本文提出一种灵活的方法,将RACE的缓存阻塞能力与MPI通信方案结合,实现分布式内存并行矩阵幂核的高效计算,显著提升了现代Intel和AMD架构上的稀疏矩阵处理速度。
2024-05-22 cs.DC cs.PF
A numerically robust, parallel-friendly variant of BiCGSTAB for the semi-implicit integration of the viscous term in Smoothed Particle Hydrodynamics
隐式积分的粘性项可以显着提高性能的计算流体动力学的高粘性流体,如熔岩。我们表明,我们以前的建议,半隐式粘性积分光滑粒子流体动力学的改进,扩展它,以支持更广泛的边界模型。由于矩阵对称性的损失,一个关键的进步是一个更强大的版本的双共轭梯度稳定的方法来解决线性系统,这也是更好地适用于共享内存和分布式内存系统的并行化。新的求解器的优点在牛顿流体和非牛顿流体的应用中得到了证明,包括数值方面(由于使用更精确的边界模型的可能性而提高了收敛性)和计算方面(具有出色的强标度和令人满意的弱标度)。
2022-06-29 cs.DC cs.NA math.NA
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法,但据我们所知,混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法,提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现,它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色,给出了第一个已知的分布式,多GPU算法,这些问题。此外,我们提出了一种新的启发式,以减少通信的分布式图着色的包围圈。我们的实验表明,我们的方法有效地运行在输入太大,适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
PPF - A Parallel Particle Filtering Library
提出了一种并行粒子滤波(PPF)软件库,该软件库结合消息传递接口(MPI)和多线程技术,实现了粒子滤波(PF)算法的共享/分布式并行化。该库是用Java实现的,并依赖于OpenMPI的Java绑定进行进程间通信。它包括动态负载均衡,多线程平衡,以及PF的几个算法改进,如输入空间域分解。PPF库隐藏了PF算法高效并行编程的困难,并为应用程序开发人员提供了并行实现PF方法所需的工具。我们证明了PPF库的能力,使用两种分布式PF算法在两种情况下,不同数量的粒子。PPF库在192个核心上运行3800万个粒子问题,对应超过1.86 GB的粒子数据,并行效率为67%。据我们所知,PPF库是第一个为PF应用程序提供并行框架的开源软件。
2014-04-04 cs.DC stat.CO
Enhancing Scalability and Performance in Influence Maximization with Optimized Parallel Processing
针对影响力最大化(IM)的可扩展性挑战,本文提出EFFICIENTIMM方法,通过引入新的并行化方案、NUMA感知内存使用、动态负载均衡和细粒度自适应数据结构,在128核系统上实现了5.9倍加速并大幅降低了缓存未命中率。
2024-11-14 cs.DC cs.DS
An Improved and Parallel Version of a Scalable Algorithm for Analyzing Time Series Data
今天,包括科学在内的所有社会部门都产生和存储了大量的数据。有意义地挖掘这些数据已经成为一个相当大的挑战,是最广泛的利益。观测的数量和维度的大小要求数据采掘算法具有时间复杂度,其中两个变量都是线性或近似线性的。一个这样的算法,见计算。物理通讯184,2446-2453(2013),将观察结果排列成称为进度索引的序列。进度指数依次通过高采样密度的不同区域。通过适当的注释,它允许在原始数据集中编码的复杂系统的行为的紧凑表示。唯一重要的参数是观测之间的距离概念。在这里,我们提出了共享内存并行化的关键步骤,在建设的进展指数,这是一个近似的最小生成树的完整的观察图的计算。我们证明了优秀的并行效率获得高达72个逻辑(CPU)核心。此外,我们介绍了三个概念的进步,提高其可控性和可解释性的进展指数本身的算法。
2020-06-05 cs.DC cs.DS
Parallel domain discretization algorithm for RBF-FD and other meshless numerical methods for solving PDEs
本文提出了一种新的与维数无关的并行节点定位算法,该算法能够生成密度可变的节点,适用于无网格数值分析。一个非常有效的顺序算法的基础上泊松磁盘采样并行化共享内存的计算机上使用,如现代工作站与多核处理器。该并行算法使用全局空间索引方法,其数据分为两个级别,这允许一个高效的多线程实现。自举的增加使算法能够使用任何数量的并行线程,同时保持其顺序变体的通用性。我们证明了算法的性能在六个复杂的2-和3-维域,这是非矩形形状或具有不同的节点间距或两者兼而有之。我们执行的算法的运行时分析,以证明它的能力,以达到高的加速比,无论域,并显示如何以及它的规模与16个处理器内核的实验硬件。我们还分析了算法的域形状,质量的点的位置,和各种并行化开销的影响。
2022-02-03 cs.DC cs.NA math.NA
Engineering Parallel Algorithms for Community Detection in Massive Networks
图结构数据的数量最近在许多应用中经历了巨大的增长。为了将这些数据转换为有用的信息,快速分析算法和软件工具是必要的。一个常见的图分析内核是不相交社区发现(或图聚类)。尽管对这个任务的启发式求解器进行了广泛的研究,但只有很少的并行代码存在,尽管并行性对于扩展到现实世界应用的数据量是必要的。我们解决了计算能力的不足,通过一个灵活的和可扩展的社区发现框架与共享内存并行。在这个框架内,我们设计和实现高效的并行社区发现算法:一个并行标签传播计划;第一次大规模并行化的著名的鲁汶方法,以及扩展的方法添加细化;和合奏计划结合上述。在广泛的实验驱动的算法工程范式,我们确定了最成功的参数和这些算法的组合。我们还将我们的实现与最先进的竞争对手进行了比较。我们最快的算法的处理速度往往达到50 M边缘/秒。我们建议并行的Louvain方法和我们的变种与细化定性强和快速。我们的方法适用于具有数十亿条边的海量数据集。
2015-02-02 cs.DC cs.SI
Parallel computation of echelon forms
我们提出了有效的并行算法和实现共享内存架构上的LU分解有限域。与相应的数值例程相比,我们已经确定了有限域上线性代数特有的三个主要困难。首先,算术复杂度可以由模约简支配。因此,在混合平铺迭代和递归算法的细粒度并行化时,必须尽可能多地延迟这些约简。第二,快速线性代数变体,例如,使用Strassen-Winograd算法,从来没有遭受不稳定性,因此可以广泛使用的级联与经典算法。在那里,要在块的大小之间进行权衡,这些块的大小非常适合那些快速变体或负载和通信平衡。第三,有限域上的许多应用需要矩阵的秩分布(经常是秩亏的),而不是线性系统的解。因此,重要的是设计并行算法,保持和计算这个排名的档案。此外,由于仅在算法期间发现秩分布,因此块大小必须是动态的。我们提出并比较了几种块分解:瓦片迭代与左看,右看和克劳特变种,板坯和瓦片递归。实验表明,瓦片递归变体的性能更好,并与参考数值软件的性能时,没有秩亏发生。此外,即使在最异构的情况下,即当所有的枢轴块的秩亏,我们表明,它是可能的,以保持高效率。
2014-02-14 cs.DC cs.SC
Consistent Lock-free Parallel Stochastic Gradient Descent for Fast and Stable Convergence
随机梯度下降(SGD)是机器学习(ML)算法中的基本元素。异步并行共享存储器SGD(AsyncSGD),包括无同步算法,例如HOGWILD!由于与同步并行化相比减少了开销,因此在某些上下文中受到了关注。尽管它们会导致陈旧和不一致,但它们在满足光滑,强凸目标和梯度稀疏性的问题上表现出了加速。最近的工作朝着理解并行SGD对于不符合这些强假设的问题的潜力迈出了重要的一步,特别是对于深度学习(DL)。然而,在理解AsyncSGD算法在实践中何时有用,特别是同步和一致性机制如何发挥作用方面,当前文献存在差距。我们重点关注保持一致性的非阻塞同步对SGD收敛的影响,以及对超参数调整的敏感性。我们提出了Leashed-SGD,一个可扩展的算法框架的AsyncSGD的一致性保持实现,采用无锁同步,有效地平衡吞吐量和延迟。我们争论分析的动态算法,内存消耗,线程的进展随着时间的推移,和预期的竞争。我们提供了一个全面的经验评估,验证分析索赔,基准测试拟议的租赁SGD框架,并比较训练多层感知器(MLP)和卷积神经网络(CNN)的基线。我们观察了争用、陈旧性和一致性的关键影响,并展示了与标准的基于锁的AsyncSGD算法和HOGWILD!相比,Leashed-SGD如何在稳定性和时钟收敛时间方面提供显着改进(从20-80%到4倍的改进),同时减少了总的存储器占用空间。
2021-02-17 cs.DC cs.DS
Large-scale Environmental Data Science with ExaGeoStatR
高斯过程计算中的并行计算对于避免与大规模环境数据科学应用相关的计算和内存限制变得必要。计算高斯对数似然函数需要O(n^2)存储和O(n^3)操作,其中n是地理位置的数量。因此,计算具有大量位置的对数似然函数需要利用现有并行计算硬件系统的能力来解决该计算复杂性,所述并行计算硬件系统诸如可能配备有GPU的共享存储器和分布式存储器系统。在本文中,我们提倡使用ExaGeoStatR,一个包exascale地质统计学在R中,支持并行计算的精确最大似然函数的各种并行架构。ExaGeoStatR中的并行化依赖于将对数似然函数中的数值线性代数运算分解为一组任务,并将其渲染为基于任务的编程模型。该包可以直接通过R环境在并行系统上使用。目前,ExaGeoStatR支持几种最大似然计算变体,例如精确、对角超级瓦片(DST)、瓦片低秩(TLR)近似和混合精度(MP)。ExaGeoStatR还提供了一个模拟大规模合成数据集的工具。这些数据集可以帮助评估最大对数似然近似方法的不同实现。在这里,我们展示了ExaGeoStatR的实现细节,分析了它在各种并行架构上的性能,并使用具有高达250K观测值的合成数据集评估了它的准确性。我们提供了一个动手教程来分析海表温度真实数据集。性能评估涉及与流行的软件包geoR和字段进行比较,以进行精确的似然评估。
2022-10-18 cs.DC stat.CO
Distributed-Memory Sparse Kernels for Machine Learning
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
采样稠密时间稠密矩阵乘法(SDDMM)和稀疏时间稠密矩阵乘法(SpMM)出现在不同的设置中,如协同过滤,文档聚类和图嵌入。通常,SDDMM输出成为后续SpMM操作的输入稀疏矩阵。现有的工作集中在共享内存并行这些原语。虽然已经有广泛的分析,通信最小化分布式1.5D算法的SpMM,没有这样的分析存在SDDMM或背靠背序列的SDDMM和SpMM,称为融合MM。我们发现,分布式存储器1.5D和2.5D算法的SpMM可以转换为算法SDDMM具有相同的通信成本和输入/输出数据布局。此外,我们给出了两个通信省略策略,以进一步降低成本的FusionMM内核:要么重用SDDMM和SpMM的输入稠密矩阵的复制顺序,或融合本地SDDMM和SpMM内核。我们基准测试FusedMM算法Cori,Cray XC 40在LBNL,使用Erdos-Renyi随机矩阵和大型现实世界的稀疏矩阵。在256个节点上,每个节点有68个内核,与依次执行分布式内存SpMM和SDDMM内核相比,使用任何一种通信省略方法的1.5D FusedMM算法可以节省至少30%的通信时间。在具有数亿条边的真实矩阵上,我们所有的算法都比PETSc中的SpMM算法至少有10倍的加速。在这些矩阵上,我们的通信省略技术的运行时间比未优化的SDDMM和SpMM序列快1.6倍。我们嵌入和测试我们的算法在现实世界中的应用,包括协同过滤通过交替最小二乘法和…
2022-03-18 cs.DC cs.LG