A Gb/s Parallel Block-based Viterbi Decoder for Convolutional Codes on GPU
在本文中,我们提出了一个并行的基于块的Viterbi解码器(PBVD)的图形处理单元(GPU)平台上的卷积码的解码。解码过程被简化和并行化,并利用网格的特性来减少度量计算。基于统一计算设备体系结构(CUDA),设计了两个不同并行度的内核,用于映射两个解码阶段。并对几种中间信息的数据结构进行了优化设计,以提高内存事务的效率。实验结果表明,该译码器在NVIDIA GTX 580和GTX 980上分别实现了598 Mbps和1802 Mbps的64态卷积码吞吐量,比现有GPU上最快的译码器提高了1.5倍。
2016-07-30 cs.DC
Hybrid KNN-Join: Parallel Nearest Neighbor Searches Exploiting CPU and GPU Architectural Features
K最近邻(KNN)连接用于科学领域的数据分析,并且是几种知名算法的构建块。KNN连接查找数据集中所有点的KNN。本文重点介绍了一种低维KNN连接的混合CPU/GPU方法,其中GPU可能不会产生比并行CPU算法更大的性能增益。我们利用一个工作队列,优先计算GPU上的高密度区域和CPU上的低密度区域中的数据点,从而利用每个架构的相对优势。我们的方法HybridKNN-Join有效地增强了最先进的多核CPU算法。我们提出的优化,$(i)$最大限度地提高GPU查询吞吐量分配GPU大批量的工作; $(ii)$增加工作负载粒度,以优化GPU的利用率;和,$(iii)$限制CPU和GPU架构之间的负载不平衡。我们比较HybridKNN-Join到一个GPU和两个并行CPU参考实现。与参考实现相比,我们发现混合算法在较大的工作负载(数据集大小和K)上表现最好。本文所采用的方法显示出在其他混合算法的一般分工的承诺。
2020-11-17 cs.DC
On the performance of various parallel GMRES implementations on CPU and GPU clusters
随着对计算能力和效率的需求的增加,并行系统在各个科学领域中变得越来越流行。虽然多核架构多年来一直是关注的焦点,但基于GPU的通用架构的快速发展将高性能计算提升到了一个新的水平。在这项工作中,不同的实现并行版本的预处理GMRES -一个建立的迭代求解大型和稀疏的线性方程组-,他们每个人都在不同的计算架构:从分布式和共享内存核心为基础的GPU架构。计算实验源自于用有限元法对基准边值问题的离散化。各种实现的主要优点和缺点的并行加速,执行时间和内存问题。其中,在不同的架构的结果比较,显示基于GPU的架构的高潜力。
2019-06-10 cs.DC
Report: GPU Based Massive Parallel Kawasaki Kinetics In Monte Carlo Modelling of Lipid Microdomains
本文介绍了一种基于Metropolis Hastings算法和图形处理器计算能力的脂质生物膜模拟新方法。方法给出了高达55倍的计算提升相比,经典的计算。算法的正确性提供了广泛的研究。模拟结果和结果与经典的模拟方法进行了分析。
2013-09-17 cs.DC
A GPU-based parallel algorithm for enumerating all chordless cycles in graphs
在有限无向简单图中,一个无弦圈是一个诱导子图,它是一个圈。我们提出了一个GPU并行算法来枚举所有的弦圈这样的图。该算法,在OpenCL中实现,是基于以前的顺序算法开发的当前作者为同一问题。它使用了一个更紧凑的数据结构的解决方案表示,这是适合的GPU的内存大小的限制。此外,对于具有足够大量的无弦周期的图,该算法在执行时间上有了显着的改进,优于顺序方法。
2015-06-25 cs.DC
GPU-Based Parallel Computing Methods for Medical Photoacoustic Image Reconstruction
针对医学光声成像重建计算量大的问题,提出基于GPU的并行计算方法,通过并行化迭代重建代码与优化内存访问,在保证精度的前提下显著提升重建速度,助力光声成像在医疗与药物研发等领域推广。
2024-04-16 cs.DC
Warp-Level Parallelism: Enabling Multiple Replications In Parallel on GPU
随机模拟需要多次重复,以建立其结果的置信区间。即使我们不需要大量的复制,使用多个并行复制(MRIP)方法来加快整个模拟时间也是一个很好的做法。这种方法通常假设可以访问并行计算机,例如对称多处理机(具有许多核心),计算集群或计算网格。在本文中,我们提出了Warp-Level并行化(WLP),这是一种支持GP-GPU的解决方案,用于在GP-GPU(通用图形处理单元)上计算MRIP。这些设备以低成本显示出大量的并行计算能力,但经过调整,可以通过不同的线程有效地处理多个数据上的相同操作。实际上,这种范例被称为单指令多线程(SIMT)。我们的方法建议依赖于小线程组,称为线程束,执行独立的计算,如复制。我们用三种不同的模型对WLP进行了基准测试:它允许MRIP的计算速度比SIMT计算模式快六倍。
2015-01-07 cs.DC
Parallel Louvain Community Detection Optimized for GPUs
社区发现现在是许多基于图的应用中的重要操作。它用于揭示真实世界网络中存在的群体,而不会对社区集施加事先的大小或基数约束。尽管它的潜力,并行计算机的支持是相当有限的。其原因主要是算法的不规则性和潜在的算法暗示了顺序性。本文提出了一种基于GPU的并行版本的鲁汶方法。Louvain方法是一种用于模块化优化的多阶段迭代启发式方法。它最初是由Blondel等人(2008)开发的,该方法由于能够以快速和内存有效的方式检测高模块化社区分区而变得越来越受欢迎。所使用的并行算法首先由Hao Lu et al.(2015)引入。由于Louvain方法本质上是顺序的,它限制了可扩展使用的可能性。多亏了提出的并行算法,我观察到这种方法在GPU上的表现。为了进行评估,我在GeForce GTX 980 GPU上使用CUDA实现了虚拟化,为了进行测试,我使用了CERN开发的协作发现项目中的组织景观,该项目涉及专利和出版物,以可视化其合作者之间的技术联系。与在使用GPU的同一台机器上运行8个线程的并行Louvain实现相比,CUDA实现能够产生与CPU生成的结果相当的社区输出,同时使用GeForce GTX 980消费级GPU提供高达30的绝对加速比。
2018-05-28 cs.DC
Accelerating the Convex Hull Computation with a Parallel GPU Algorithm
凸包是许多应用的基本几何结构,其中点组必须由凸多边形包围或表示。虽然存在有效的顺序凸包算法,并且在应用中不断使用,但是它们的计算时间通常被认为是时间敏感任务的问题,例如实时碰撞检测、聚类或用于虚拟现实的图像处理等,其中需要快速的响应时间。在这项工作中,我们提出了一个并行的基于GPU的适应heaphull,这是一个国家的最先进的CPU算法,计算的凸包首先做一个有效的过滤阶段,然后由实际的凸包计算。更具体地说,这项工作并行化的过滤阶段,使其适应GPU编程模型作为一系列的并行减少。实验结果表明,该算法显著提高了凸包计算的性能,其加速比达到了$4\times$,而$3\times \sim 4\times$的加速比则达到了$4\times$.
2022-09-25 cs.DC
Strategies for Efficient Executions of Irregular Message-Driven Parallel Applications on GPU Systems
消息驱动的执行与过度分解的任务构成了一个重要的并行编程模型,并已被证明为不规则的应用程序。在GPU系统上支持这种消息驱动的不规则应用的高效执行提出了与不规则数据访问和计算相关的许多挑战。在这项工作中,我们已经开发出的策略,包括合并不规则的数据访问,并结合数据重用,和自适应的方法,混合执行,以尽量减少空闲。我们已经将这些运行时策略集成到我们的{ \em G-Charm}框架中,以便在混合GPU系统上高效执行消息驱动的并行应用程序。我们展示了我们的策略,不规则的应用程序与N体模拟和分子动力学的应用程序,并表明我们的动态策略的结果在8- 38%的减少执行时间,这些不规则的应用程序在相应的静态策略,适合定期的应用程序。
2020-08-13 cs.DC
Large Scale Multi-GPU Based Parallel Traffic Simulation for Accelerated Traffic Assignment and Propagation
本文提出基于多GPU并行计算的区域级交通仿真框架LPSim,可同时仿真数百万车辆动态,在单GPU和双GPU上分别完成282万和901万次出行仿真,速度比传统CPU方法快约113倍。
2024-10-23 cs.DC
Atos: A Task-Parallel GPU Dynamic Scheduling Framework for Dynamic Irregular Computations
我们提出Atos,一个任务并行GPU动态调度框架,特别适合于动态不规则的应用程序。与主流的大容量同步并行(BSP)框架相比,Atos通过支持具有宽松依赖关系的应用程序的任务并行公式来提供额外的并发性,从而实现更高的GPU利用率,这对于并发瓶颈问题尤为重要。除了数据并行负载均衡之外,Atos还提供隐式任务并行负载均衡,为用户提供在它们之间进行平衡的灵活性,以实现最佳性能。最后,Atos允许用户通过控制内核策略和任务并行粒度来适应不同的用例。我们证明,这些控制在实践中是很重要的。我们评估和分析Atos与BSP在三个应用程序上的性能:广度优先搜索,PageRank和图着色。与最先进的BSP GPU实现相比,Atos实现在三个案例研究中实现了3.44倍、2.1倍和2.77倍的几何加速比以及12.8倍、3.2倍和9.08倍的峰值加速比。除了简单地量化加速之外,我们还广泛地分析了每个加速背后的原因。这种更深入的了解使我们能够得出如何为不同应用选择最佳Atos配置的一般指导方针。最后,我们的分析为未来的动态调度框架设计提供了见解。
2021-11-30 cs.DC
Parallel processing area extraction and data transfer number reduction for automatic GPU offloading of IoT applications
对于开放物联网,我们提出了Tacit Computing技术,以发现具有用户所需数据的设备并动态使用它们,并将自动GPU卸载技术作为Tacit Computing的基本技术。然而,它可以改善有限的应用程序,因为它只优化可并行循环语句提取。因此,在本文中,为了提高更多的应用程序的性能自动,我们提出了一种改进的方法,减少CPU和GPU之间的数据传输。我们通过将其应用于Darknet来评估我们提出的卸载方法,发现它可以以仅使用CPU的3倍速度处理它。
2018-11-09 cs.DC
Parallel Sparse Matrix Solver on the GPU Applied to Simulation of Electrical Machines
如今,一些工业应用程序正在移植到并行架构。事实上,这些平台可以为系统建模和仿真提供更多的性能。在电机领域,有许多问题需要加速解决。本文研究稀疏矩阵求解器在图形处理器上的并行性。更具体地说,我们实现了共轭梯度技术与输入矩阵存储在CSR,对称CSR和CSC格式。该方法是求解麦克斯韦方程组有限元基函数的最有效的迭代法之一。GPU(图形处理单元),这是用于其实现,提供了机制,并行算法。因此,它大大提高了与基于CPU的系统上的串行代码相关的计算速度。
2010-10-22 cs.DC
A GPU Based Memory Optimized Parallel Method For FFT Implementation
快速傅立叶变换(FFT)在数字信号处理、数字图像处理等领域有着非常重要的作用,但在实际应用中,FFT成为影响处理效率的一个因素,特别是在遥感领域,需要对大量的数据进行FFT处理。因此缩短FFT计算时间显得尤为重要。GPU(图形处理单元)已应用于许多常见领域,与CPU(中央处理单元)平台相比,其加速效果非常明显。本文提出了一种新的在GPU上并行执行FFT的方法。基于GPU存储系统和硬件处理流水线,改进了数据存储方式。根据数据的大小对数据进行合理的划分,充分利用GPU的特点。提出了基于共享内存和纹理内存的内存优化方法,减少了全局内存访问次数,提高了效率。结果表明,基于GPU的内存优化FFT实现不仅比CPU平台上的FFTW库提高了100%以上,而且比GPU平台上的CUFFT库提高了30%以上。
2017-07-23 cs.DC
Parallel Vertex Cover Algorithms on GPUs
在图中寻找小顶点覆盖在许多领域都有应用。该问题的两个常见公式包括:最小顶点覆盖,它找到图中最小的顶点覆盖,和参数化顶点覆盖,它找到大小小于或等于某个参数$k$的顶点覆盖。两种公式的算法都遍历搜索树,搜索树随着图的大小或$k$的值呈指数增长。由于多种原因,在GPU上对顶点覆盖搜索树的遍历进行并行化是具有挑战性的。首先,搜索树是一个狭窄的二叉树,这使得它很难提取足够的子树并行处理,以充分利用GPU的资源。其次,搜索树高度不平衡,这使得跨大量并行GPU工作器的负载均衡具有挑战性。第三,保持并行遍历许多子树所需的所有中间状态对GPU的存储器资源造成很大压力,并且可能成为并行性的限制因素。为了解决这些挑战,我们提出了一种方法来遍历顶点覆盖搜索树并行使用GPU,同时处理动态负载均衡。每个线程块使用本地堆栈遍历不同的子树,但是,我们也使用全局工作列表来平衡负载。块根据需要将其子树的分支贡献给全局工作列表,而完成其子树的块从全局工作列表中获得新的分支。我们使用度数组来表示中间图,这样表示在内存中是紧凑的,以避免限制并行性,但独立的,这是必要的负载均衡。我们的评估表明,与以前的工作相比,我们的混合使用本地堆栈和全局工作列表的方法大大提高了性能,减少了负载不平衡,特别是在困难的情况下的问题。
2022-04-21 cs.DC
GPU Parallel algorithm for the generation of polygonal meshes based on terminal-edge regions
提出了一种基于德洛内三角剖分的多边形网格生成的GPU并行算法。为了生成多边形网格,该算法首先使用分类系统来标记输入三角剖分的每个边缘;其次,它使用标签系统从终端边缘区域构建多边形(简单或不简单),第三,它将每个非简单多边形从前一阶段转换为简单的,凸或非凸多边形。我们展示了一些初步的实验来测试该算法的可扩展性,并将其与顺序版本进行比较。我们还运行了一个非常简单的测试,以表明这些网格可以用于虚拟单元法。
2022-04-11 cs.DC
Accelerating Communication for Parallel Programming Models on GPU Systems
随着越来越多的领先级系统在向亿级的竞争中采用GPU加速器,GPU数据的有效通信正在成为高性能计算的最关键组件之一。对于并行编程模型的开发人员来说,使用GPU(如CUDA)的本机API实现对GPU感知通信的支持可能是一项艰巨的任务,因为它需要相当大的努力,性能几乎没有保证。在这项工作中,我们展示了统一通信X(UCX)框架组成GPU感知通信层的能力,该层为Charm++生态系统的多个并行编程模型提供服务:Charm++,自适应MPI(AMPI)和Charm4py。我们使用改编自OSU基准测试套件的微基准测试来展示我们设计的性能影响,在Charm++中获得了高达10.1倍的延迟改进,在AMPI中获得了11.7倍的延迟改进,在Charm4py中获得了17.4倍的延迟改进。我们还观察到Charm++的带宽增加了10.1倍,AMPI增加了10倍,Charm4py增加了10.5倍。通过评估Jacobi迭代法的代理应用程序,我们展示了我们的设计对现实世界应用程序的潜在影响,在Charm++中将通信性能提高了12.4倍,在AMPI中提高了12.8倍,在Charm4py中提高了19.7倍。
2022-03-22 cs.DC
A Fast and Generic GPU-Based Parallel Reduction Implementation
归约运算广泛应用于许多计算问题中。约简包括,给定一个有限的数值元素集,将该集合中的所有元素组合成单个值,为此使用组合器函数。并行归约又是当多个执行单元可用时并发执行的归约操作。目前的工作报告的调查就这个问题,并描绘了一个基于GPU的并行方法为it.Employing技术,如循环展开,持久线程和代数表达式,以避免线程发散,所提出的方法是能够实现2.8倍的加速时相比,卡坦扎罗的工作,使用一个通用的,简单的,易于移植的代码。实验结果表明,该策略在AMD和NVidia的硬件环境下,以及OpenCL和CUDA环境下都能有效地执行。
2017-10-19 cs.DC
Warp-STAR: High-performance, Differentiable GPU-Accelerated Static Timing Analysis through Warp-oriented Parallel Orchestration
National Taiwan University(台湾大学)
本文提出Warp-STAR,通过在织线层面协调并行计算消除不均衡,实现比现有GPU静态时序分析工具快2.4倍,同时在时序驱动全局放置框架中达到1.7倍提升,并支持可微分梯度分析。
2026-03-30 cs.DC
An inherently parallel H2-ULV factorization for solving dense linear systems on GPUs
本文提出一种基于H2-ULV分解的稠密线性系统求解方法,通过消除尾部子矩阵依赖,在GPU上实现线性复杂度分解并充分挖掘并行性。
2025-02-04 cs.DC
RLT2-based Parallel Algorithms for Solving Large Quadratic Assignment Problems on Graphics Processing Unit Clusters
本文讨论了求解二次分配问题(QAP)的强下界和精确解的高效并行算法。我们的并行架构由多核处理器和支持计算统一设备架构(CUDA)的NVIDIA图形处理单元(GPU)组成,这些处理单元位于伊利诺伊大学厄巴纳-香槟分校的Blue Waters超级计算设施上。我们提出了新的并行化的拉格朗日双上升算法的GPU上,这是用于解决QAP配方的基础上二级重构线性化技术(RLT 2)。在这个过程中的线性分配子问题(LAPs)使用我们的加速匈牙利算法[日期,Ketan,Rakesh Nagi. 2016.线性指派问题的GPU加速匈牙利算法。并行计算57 52-72]。我们嵌入这个加速双上升算法在一个并行的分支定界方案,并进行广泛的计算实验上的单个和多个GPU,使用问题的实例多达42设施从QAPLIB。实验表明,我们的基于GPU的方法是可扩展的,它可以用来获得严格的下限上的大型QAP实例。我们的加速分支定界方案能够轻松地从QAPLIB解决Nugent和Taillard实例(多达30个设施),使用适度数量的GPU。
2017-10-10 cs.DC
Massively parallel lattice-Boltzmann codes on large GPU clusters
本文介绍了一个大规模并行代码的最先进的热晶格玻尔兹曼方法。我们的代码已经过精心优化,以提高单GPU上的性能,并具有良好的扩展行为,可扩展到大量GPU。该代码的版本已经用于对流湍流的大规模研究。GPU在HPC应用中越来越受欢迎,因为它们能够提供比传统处理器更高的性能。为大型集群编写高效的程序并不是一件容易的事情,因为代码必须适应日益并行的体系结构,并且必须正确处理节点到节点通信的开销。我们描述了我们的代码的结构,讨论了几个关键的设计选择,指导性能和实验基准的理论模型。我们提出了一套广泛的性能测量,并确定相应的主要bottlenecks,最后,我们比较我们的GPU代码与其他目前可用的高性能处理器上测量的结果。我们的结果是一个生产级的代码能够提供几十Tflops的持续性能,以及设计和优化的方法,可用于其他高性能的计算物理应用程序的开发。
2017-03-01 cs.DC
Parallel Gaussian process with kernel approximation in CUDA
本文提出一种基于CUDA的并行高斯过程实现,采用分解核近似以减小矩阵求逆规模,并利用GPU并行化预测后验统计量计算,以解决高维样本下的性能退化问题。
2024-03-19 cs.DC
Performance comparison of CFD-DEM solver MFiX-Exa, on GPUs and CPUs
我们目前的计算性能比较的气固模拟在当前的CPU和GPU架构上使用MFiX Exa,CFD-DEM求解器,利用混合CPU+GPU并行。一个有代表性的流化床模拟不同的颗粒数从2至67万是用来比较串行和并行的性能。据观察,与单个CPU核心相比,单个GPU的速度大约快10倍。在单个计算节点上使用3个GPU比使用所有64个CPU核心快4倍。我们还观察到,使用误差控制的自适应时间步进方案进行粒子推进,在CPU和GPU上提供了一致的4倍加速。弱的缩放结果表明,优越的并行效率时,使用GPU相比,CPU的问题规模在这项工作中研究。
2021-08-19 cs.DC
GRNND: A GPU-Parallel Relative NN-Descent Algorithm for Efficient Approximate Nearest Neighbor Graph Construction
Nanjing University(南京大学);Institute of Science Tokyo(东京科学大学)
针对RNN-Descent图构建随数据量和维度增长耗时剧增的问题,提出首个GPU并行的GRNND算法,通过无序邻居传播等策略优化,实现远超现有CPU、GPU方法的加速效果。
2025-10-03 cs.DC
Matrix representation and GPU-optimized parallel B-spline computing
针对CAD系统中复杂模型B样条计算的CPU算法不足问题,提出将B样条转换为规则矩阵结构并结合GPU优化调度的方法,实现关键操作速度提升约两个数量级。
2025-04-15 cs.DC
A Study of Performance Programming of CPU, GPU accelerated Computers and SIMD Architecture
该研究梳理CPU、GPU、SIMD三类并行计算实现方式及现有研究瓶颈,汇总并行编程技术资料,呈现其现状与趋势,为后续研究提供背景支撑。
2024-09-16 cs.DC
Efficient and Robust Parallel DNN Training through Model Parallelism on Multi-GPU Platform
深度神经网络(DNN)的训练过程是计算密集型的,通常需要数天到数周的时间来训练DNN模型。因此,在GPU上并行执行DNN训练是当今广泛采用的加速过程的方法。由于实现简单,数据并行是目前最常用的并行化方法。然而,由于GPU之间频繁的权重同步,数据并行遭受过多的GPU间通信开销。另一种方法是流水线模型并行,它在GPU之间划分DNN模型,并并发处理多个小批。与数据并行相比,该方法可以显著降低GPU间通信成本。然而,流水线模型并行面临着权重陈旧的问题;也就是说,梯度是用陈旧的权重计算的,导致训练不稳定和精度损失。在本文中,我们提出了一种流水线模型并行执行方法,使高GPU利用率,同时保持强大的训练精度,通过一种新的权重预测技术,SpecTrain。实验结果表明,我们的建议实现了高达8.91倍的加速比相比,在4-GPU平台上的数据并行,同时保持可比的模型精度。
2019-10-28 cs.DC cs.LG
Parallel Triangular Solvers on GPU
本文系统地研究了基于GPU的并行三角形求解器。并行三角形求解器是不完全LU分解族预条件子和代数多重网格求解器的基础。我们开发了一种新的矩阵格式适合GPU设备。针对这种新的数据结构,开发了并行下三角解算器和上三角解算器。在此基础上,开发了ILU预条件子和区域分解预条件子。数值结果表明,我们可以将三角形求解器的速度提高约7倍。
2016-06-02 cs.DC cs.MS
High-Throughput and Memory-Efficient Parallel Viterbi Decoder for Convolutional Codes on GPU
本文描述了维特比译码算法的并行实现。维特比译码器被广泛应用于无线通信系统中。所提出的解决方案通过应用统一内核实现和并行回溯等优化来优化吞吐量和内存使用。实验评估表明,该解决方案实现了更高的吞吐量相比,以前的GPU加速的解决方案。
2020-11-18 cs.DC eess.SP
High-Throughput Parallel Viterbi Decoder on GPU Tensor Cores
在GPU平台上实现Vitrerbi解码算法的研究工作很多,因为GPU平台提供了相当大的灵活性,除了良好的性能。最近,现代GPU架构中最近推出的Tensor核心提供了令人难以置信的计算能力。提出了一种基于Tensor核的Viterbi译码算法在现代GPU架构中的并行实现方法。所提出的并行算法进行了优化,以有效地利用张量核的计算能力。实验表明,相当大的吞吐量的改善与以前的作品相比。
2020-11-27 cs.DC eess.SP
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法,但据我们所知,混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法,提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现,它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色,给出了第一个已知的分布式,多GPU算法,这些问题。此外,我们提出了一种新的启发式,以减少通信的分布式图着色的包围圈。我们的实验表明,我们的方法有效地运行在输入太大,适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
Exploration of Fine-Grained Parallelism for Load Balancing Eager K-truss on GPU and CPU
在这项工作中,我们提出了一个性能探索的渴望K-桁架,线性代数公式的K-桁架图算法。我们提出了一种细粒度的并行方法来执行支持计算,以解决对称,三角图的并行任务的负载不平衡的性能问题。这种方法还增加了可用的并行性,使其适合GPU执行。我们使用Kokkos中的实现演示了我们的细粒度并行方法,并在Intel Skylake CPU和Nvidia Tesla V100 GPU上对其进行了评估。总的来说,我们观察到1.261之间。由于我们的细粒度并行公式,CPU性能提高了48倍,GPU性能提高了9.97- 16.92倍。
2020-09-16 cs.DC cs.PF
Data-Parallel Hashing Techniques for GPU Architectures
哈希表是用于有效地存储和访问稀疏数据的最基本的数据结构之一,在从计算机图形到机器学习的领域中广泛使用。本研究调查的国家的最先进的研究数据并行哈希技术,新兴的并行,众核GPU架构。发现影响不同哈希方案性能的关键因素,并用于建议最佳实践和确定进一步研究的领域。
2018-07-11 cs.DC cs.DS
Exploring the Limits of GPUs With Parallel Graph Algorithms
在本文中,我们探讨了通用并行计算的图形处理器(GPU)的限制,通过研究问题,需要高度不规则的数据访问模式:列表排名和连接组件的并行图算法。这样的图形问题代表了合并GPU上的并行存储器访问的最坏情况,这对于良好的GPU性能至关重要。我们的实验研究表明,PRAM算法是一个很好的起点,开发高效的并行GPU方法,但需要非平凡的修改,以确保良好的GPU性能。我们提出了一套指导方针,帮助算法设计人员适应PRAM图算法的并行GPU计算。我们指出,GPU的并行图形算法的研究是更广泛的兴趣,一般的离散和组合问题,因为这些问题中的许多需要类似的不规则的数据访问模式。
2010-02-24 cs.CC cs.DC cs.DS
Astra: Efficient and Money-saving Automatic Parallel Strategies Search on Heterogeneous GPUs
提出 Astra 框架,在异构 GPU 上联合搜索 GPU 配置与并行参数,并通过训练耗时建模实现高吞吐、低成本的自动并行策略,搜索快且准确率超 95%。
2025-02-19 cs.AI cs.DC
PaNGEA: Parallel Node Generation and Exploration Algorithm on GPU
London Business School(伦敦商学院)
本文提出PaNGEA,一种GPU友好的混合整数优化原始启发式算法,通过结合线性松弛与局部搜索并利用GPU批处理并行探索多个子问题,在283个实例上相比CPU减少8-18%间隙积分,多节点并行再减少12-19%。
2026-10-05 cs.DC math.OC
Parallelization Strategies for Ant Colony Optimisation on GPUs
蚁群优化算法(ACO)是一种有效的基于种群的元启发式算法,用于解决各种各样的问题。作为一种基于种群的算法,其计算本质上是大规模并行的,因此理论上非常适合在图形处理单元(GPU)上实现。蚁群算法包括两个主要阶段:旅游建设和信息素更新。前者以前已经在GPU上实现,使用基于任务的并行方法。然而,到目前为止,后者一直在CPU上实现。在本文中,我们讨论了几个并行化策略的两个阶段的ACO算法在GPU上。我们提出了一种替代的基于数据的并行计划旅游建设,更适合GPU架构。我们还描述了新的GPU编程策略的信息素更新阶段。我们的研究结果表明,总的速度超过28倍的旅游建设阶段,和20倍的信息素更新,并建议ACO是一个潜在的富有成效的领域,为未来的研究在GPU领域。
2011-01-13 cs.DC cs.MA
A Flexible Patch-Based Lattice Boltzmann Parallelization Approach for Heterogeneous GPU-CPU Clusters
在并行计算中维持单个GPU的大部分性能被认为是基于GPU的集群的主要问题。在这篇文章中,这一主题是解决的背景下,晶格玻尔兹曼流求解器,集成在WaLBerla软件框架。我们提出了一个多GPU实现使用块结构的MPI并行化,适用于负载均衡和异构计算的CPU和GPU。详细讨论了多GPU模拟所需的开销,并证明了内核性能可以在很大程度上得到维持。通过我们的GPU实现,我们在InfiniBand集群上实现了近乎完美的弱可扩展性。然而,在强扩展场景中,多GPU对硬件的利用效率低于IBM BG/P和x86集群。因此,成本分析必须为特定的模拟任务确定最佳的行动方案。此外,弱规模的异构模拟CPU和GPU同时进行的结果,提出了使用集群配备不同的节点配置。
2010-07-08 cs.DC cs.PF
Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning
Seoul National University(首尔国立大学)
深度学习(DL)框架利用GPU来提高DL推理和训练的速度。理想情况下,DL框架应该能够充分利用GPU的计算能力,使得运行时间取决于分配给GPU的计算量。然而,我们观察到,在调度GPU任务时,现有的DL框架存在效率低下的问题,例如较大的调度开销和不必要的串行执行。为此,我们提出了Nimble,这是一个DL执行引擎,可以以最小的调度开销并行运行GPU任务。Nimble引入了一种称为提前(AoT)调度的新技术。这里,调度过程在执行GPU内核之前完成,从而在运行时间期间去除大部分调度开销。此外,Nimble通过在单个GPU中利用多个GPU流来自动并行执行GPU任务。对各种神经网络的评估表明,与PyTorch相比,Nimble的推理和训练速度分别提高了22.34 $\times$和3.61 $\times$。此外,Nimble的性能比最先进的推理系统TensorRT和TVM分别高出2.81 $\times$和1.70 $\times$。
2020-12-04 cs.DC cs.LG
Linear Run Time of Persistent Homology Computation with GPU Parallelization
持久同源性是一个重要的不变量,在许多领域都用于理解数据。$O(N^4)$运行时间是它在大多数大型数据集上使用的一个障碍。我们给出了一种利用多核机器和集群的并行化方法。我们实现了$0^{th}$持久同源性的计算与OpenMP并行化,并观察到1.75倍的性能提高,使用2个线程的双核机器上。我们还基准的计算使用大量的线程,并表明线程的计算开销降低性能。通过GPU并行化,我们通过分析和经验将运行时间从$O(N^4)$扩展到$O(N^3)$,甚至是$O(N^2)$,其中$N$是足够大的GPU的数据点数量。接下来,我们分析显示运行时间缩放$O(N)$甚至更大的GPU。
2022-03-08 cs.DC math.AT
RAFI -- A Ray/Work Forwarding Infrastructure for Data Parallel Multi-Node/Multi-GPU Computing
NVIDIA(英伟达);Bilkent University(比尔肯特大学);SCI Institute, University of Utah(犹他大学计算研究所);University of Cologne(科隆大学);NASA Ames Research Center(NASA艾姆斯研究中心);IT4Innovations, VSB -Technical University of Ostrava(Ostrava理工大学IT4创新中心)
提出基于CUDA和MPI的软件框架RaFI,简化GPU数据并行计算中射线等工作项在不同GPU间迁移的实现,通过统一接口管理底层通信。
2026-05-28 cs.DC cs.GR
Bit-level Parallelization of 3DES Encryption on GPU
三重DES(3DES)是一种标准的基本加密算法,用于多种电子支付应用程序和Web浏览器。在本文中,我们提出了一个并行实现的3DES在GPU上。由于3DES使用64位块加密数据,因此我们的方法将每个64位块视为内核块,并分配一个单独的线程来处理每个位。算法的置换操作、XOR操作和S盒操作在这些内核块内并行完成。该实现得益于使用常量和共享内存类型来优化内存访问。结果显示,与基准多线程CPU实现相比,平均速度提高了10.70倍。该实现可在https://github.com/kaanfurkan35/3DES_GPU上公开获取
2020-07-21 cs.CR cs.DC
Data-parallel distributed training of very large models beyond GPU capacity
IBM;IBM Research(IBM研究院)
GPU的内存有限,很难训练宽和/或深的模型,这会导致训练过程耗尽内存。本文展示了一种名为Large Model Support(LMS)的开源工具如何利用CPU和GPU之间的高带宽NVLink连接来完成深度卷积网络的训练。LMS在CPU内存和GPU内存之间执行张量交换,使得在训练步骤中仅将所需的最小数量的张量保留在GPU内存中。它还显示了LMS如何与基于MPI的分布式深度学习模块相结合,以跨多个GPU的数据并行方式训练模型,使得每个GPU都利用CPU内存进行张量交换。讨论了支持高带宽GPU与CPU链接的硬件架构,以及作为PowerAI包提供的相关软件工具集。
2018-11-29 cs.DC cs.LG
Parallel Computing of Discrete Element Method on GPU
我们研究了GPU对DEM的适用性。NVIDIA的代码在计算时间上获得了优于CPU的性能。NVIDIA代码中的接触力模型对于实际应用来说过于简单。我们修改这个模型,用实际模型代替它。仿真结果表明,该模型在CPU上的计算速度比实际模型快6倍,在GPU上的计算速度比简单模型慢7倍。并对结果进行了分析。
2013-01-08 cs.CE cs.DC
ParallelKittens: Systematic and Practical Simplification of Multi-GPU AI Kernels
针对模型规模扩大导致GPU间通信成为AI工作负载瓶颈、现有系统无法跨异构工作负载和新加速器达到理论峰值性能的问题,提出极简CUDA框架ParallelKittens,通过少量可复用原则简化重叠多GPU内核开发,在多种并行工作负载上实现显著加速。
2025-11-17 cs.DC cs.LG
GigaAPI for GPU Parallelization
GigaAPI是一个简化多GPU编程的用户空间API,通过抽象底层CUDA和C++复杂性提供全面功能,实验证明其能提升并行计算效率,推动GPU计算的普及。
2025-04-02 cs.AR cs.DC cs.PF
A Parallel CPU-GPU Framework for Batching Heuristic Operations in Depth-First Heuristic Search
针对深度优先搜索算法(如IDA*、BTS)启发式计算难以批量处理的问题,提出并行CPU-GPU框架,CPU并行化树搜索、GPU并行化启发式评估,开发CB-DFS框架提升性能,在魔方和滑动拼图任务验证有效性。
2025-11-16 cs.AI cs.DC
Parallel K-Clique Counting on GPUs
图中k-团的计数是图分析中的一个重要问题,在社区发现和图划分等方面有着广泛的应用。计数k-团通常通过从图中的每个顶点开始遍历搜索树来完成。在CPU上已经对k团计数进行了充分的研究,并且存在许多解决方案。然而,对于GPU上的k团计数,没有高性能的解决方案。在GPU上优化k团计数带来了许多挑战,例如需要提取细粒度多级并行性,对负载不平衡的敏感性以及受限的物理内存容量。虽然已经有相关问题的工作,如寻找最大团和GPU上的广义子图匹配,特别是k-团计数尚未深入探讨。在本文中,我们提出了第一个专门用于k团计数问题的并行GPU解决方案。我们的解决方案支持图方向和旋转消除冗余团发现。它结合了以顶点为中心和以边缘为中心的并行化方案,用于跨线程块分配工作,并在每个线程块内进一步分区工作,以提取细粒度的多级并行性,同时容忍负载不平衡。它还包括优化,如诱导子图的二进制编码和子扭曲分区,以限制内存消耗并提高执行资源的利用率。我们的评估表明,我们最好的GPU实现优于最先进的并行CPU实现的几何平均值为12.39倍,6.21倍,18.99倍,k=4,7和10,分别。我们还进行了详细的评估,在选择并行化方案中所涉及的权衡,以及每个优化的增量加速,以提供对优化空间的深入了解。...
2022-06-06 cs.DC cs.DS
Synkhronos: a Multi-GPU Theano Extension for Data Parallelism
University of California, Berkeley(加州大学伯克利分校)
我们提出了Synkhronos,一个扩展Theano的多GPU计算利用数据并行。我们的框架提供跨设备的自动执行和同步,允许用户继续编写串行程序,而不会有竞争条件的风险。NVIDIA Collective Communication Library用于GPU间的高带宽通信。Theano函数接口的进一步增强包括输入切片(具有聚合)和输入索引,它们可以有效地执行常见的数据并行计算模式。一个示例用例是同步SGD,最近已经证明它可以很好地扩展越来越多的深度学习问题。在训练ResNet-50时,我们在使用8个GPU的NVIDIA DGX-1上实现了7.5倍的近线性加速,相对于仅运行单个GPU的Theano代码。然而,Synkhronos仍然适用于Theano中可编程的任何数据并行计算。通过在单个Theano函数级别实现并行性,我们的框架独特地解决了手动多设备编程和规定的多GPU训练例程之间的利基。
2017-10-11 cs.AI cs.DC cs.LG
On The Performance of Prefix-Sum Parallel Kalman Filters and Smoothers on GPUs
Aalto University(阿尔托大学)
本文在GPU上评估用于卡尔曼滤波器和平滑器时间并行化的全前缀和算法,提出新型时间并行双滤波器平滑器并公开对应Julia实现代码。
2025-11-13 cs.DC math.DS stat.CO
GPGPU-Parallel Re-indexing of Triangle Meshes with Duplicate-Vertex and Unused-Vertex Removal
我们描述了一种简单而高度并行的方法,用于重新索引“索引”数据集,如三角形网格或非结构化网格数据集-这是有用的操作,如删除重复或未使用的顶点,合并不同的网格等。特别是,我们的方法是并行和GPU友好的意义上,它的所有步骤都是平凡的并行,或使用GPU并行原语,如排序,前缀和;从而使其非常适合于像GPU这样的高度并行架构。
2021-09-20 cs.DC cs.DS
TREES: A CPU/GPU Task-Parallel Runtime with Explicit Epoch Synchronization
我们已经开发了一个任务并行运行时系统,称为TREES,这是专为CPU/GPU平台上的高性能。在具有多个CPU的平台上,Cilk的“工作优先”原则是任务并行应用程序如何实现性能的基础,但工作优先不适合GPU。我们以工作第一为基础,创建了“协同工作”原则,以解决GPU的具体优势和劣势。协同工作原则扩展了工作优先原则,指出:(a)关键路线上的间接费用应由整个系统立即支付;(b)工作间接费用应由合作支付。我们在OpenCL中实现了TREES运行时,并在CPU/GPU平台上对TREES应用程序进行了实验评估。
2016-08-01 cs.DC cs.OS cs.PL