Belief Propagation by Message Passing in Junction Trees: Computing Each Message Faster Using GPU Parallelization
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
将贝叶斯网络（BN）编译为连接树并在其上执行置信传播是计算BN中后验的最突出方法之一。然而，连接树上的信念传播是已知的，在一般情况下是计算密集型的。它的复杂性可能会显着增加贝叶斯网络节点的连通性和状态空间基数。在本文中，我们使用GPU并行化来解决这个计算挑战。我们开发的数据结构和算法，扩展现有的连接树技术，并专门开发一种新的方法来计算每个信念传播消息并行。我们实现了我们的方法上的NVIDIA GPU和测试它使用BN从几个应用程序。在实验中，我们研究了连接树参数如何影响并行化的机会，因此我们的算法的性能。我们实现了从0.68到9.18的BN研究的加速比。
2012-02-14 cs.AI cs.DC
MERBIT: A GPU-Based SpMV Method for Iterative Workloads
Sun Yat-sen University（中山大学）；Guangdong University of Finance and Economics（广东财经大学）
MERBIT通过合并路径分区和紧凑位字段描述优化稀疏矩阵-向量乘法，提升工作负载平衡和内存访问效率，实验表明其在多种大规模不规则数据集上优于现有方法。
2026-05-08 cs.DC
OpenCL/CUDA algorithms for parallel decoding of any irregular LDPC code using GPU
支持并行数据处理的多核架构的发展导致了一种范式的转变，这对通信系统产生了重大影响。本文提供了一个可扩展的并行迭代LDPC解码器的方法，在一个教程为基础的风格。该算法适用于任意非规则LDPC码的译码，不受最大节点度的限制，并包含伴随式的并行计算。这是迄今为止提出的算法的主要区别。所提出的方法可以在支持大规模并行计算的应用中实现，例如GPU或FPGA设备。最后讨论了基于OpenCL和CUDA框架的LDPC译码器的实现，并给出了性能评估。
2017-09-26 cs.DC cs.IT math.IT
Optimizing Irregular Communication with Neighborhood Collectives and Locality-Aware Parallelism
本文基于 MPI 4 持久化邻域集合通信 API，提出局部性感知聚合等不规则通信优化方法，并在 BoomerAMG 的稀疏矩阵-向量乘法中实现最高 1.32 倍加速。
2023-06-02 cs.DC
Exploring GPU Stream-Aware Message Passing using Triggered Operations
现代异构超级计算系统由提供CPU和GPU的计算刀片组成。在这样的系统上，必须通过高速网络在这些不同的计算引擎之间有效地移动数据。虽然当前一代科学应用和系统软件栈是GPU感知的，但仍然需要CPU线程来编排数据移动通信操作和进程间同步操作。一种新的GPU流感知MPI通信策略称为流触发（ST）的通信进行了探索，允许卸载计算和通信控制路径的GPU。建议的ST通信策略通过新的专有HPE Slingshot NIC（Slingshot 11）在HPE Slingshot Interconnects上实施，并使用支持的触发操作功能。所提出的新的通信策略的性能进行评估，使用微基准内核称为面孔，基于最近的邻居通信模式的CORAL-2 Nekbone基准，在一个异构的节点架构组成的AMD CPU和GPU。
2022-08-09 cs.DC cs.NI
A Programming Model for GPU Load Balancing
我们提出了一个GPU细粒度的负载平衡抽象，从工作处理中提取负载均衡，旨在支持静态和动态调度，并通过可编程接口实现新的负载平衡调度。在我们的工作之前，释放GPU在不规则问题上的潜力的唯一方法是通过特定于应用程序的紧耦合负载平衡技术来实现工作负载平衡。通过我们的开源负载平衡框架，我们希望在GPU上开发不规则并行算法时提高程序员的生产力，并通过允许快速试验各种现有负载平衡技术来提高此类应用程序的整体性能特征。因此，我们也希望通过在我们的抽象中将负载平衡的关注点从工作处理中分离出来，管理现有代码并将其扩展到未来的架构中变得更加容易。
2023-01-12 cs.DC
An Empirical Evaluation of Allgatherv on Multi-GPU Systems
用于深度学习和大数据分析的应用程序的计算和内存需求超过了单个GPU的限制。然而，由于GPU之间的通信的复杂性，特别是对于具有不规则消息大小的集体通信，有效地将应用扩展到多个GPU是具有挑战性的。在这项工作中，我们提供了一个性能评估的Allanov例程多GPU系统，专注于GPU的网络拓扑结构和使用的通信库。我们提出了OSU-微基准测试的结果，并对稀疏张量因子分解进行了案例研究，这是一个使用具有高度不规则消息大小的Allanov的应用程序。我们扩展了现有的张量因式分解工具，使其可以在具有不同节点数和每个节点不同GPU数量的系统上运行。然后，我们评估我们的工具的通信性能时，使用传统的MPI，CUDA感知MVAPICH和NCCL在一套真实世界的数据集在三个不同的系统：一个16节点的集群，每个节点一个GPU，NVIDIA的DGX-1与8 GPU和克雷的CS风暴与16 GPU。我们的研究结果表明，张量数据集的不规则性产生的趋势与OSU微基准中的趋势相矛盾，以及基准中没有的趋势。
2018-12-14 cs.DC cs.PF
GPZ: GPU-Accelerated Lossy Compressor for Particle Data
本文提出GPZ，一种面向GPU粒子数据的误差有界有损压缩器，通过四阶段并行流水线和多项优化，在多种GPU架构上实现最高8倍端到端吞吐量提升，并优于五种现有压缩器。
2025-08-14 cs.DC
GPU Load Balancing
细粒度的工作负载和资源平衡是GPU上常规和不规则计算的高性能的关键。在这篇论文中，我们进行了广泛的调查，现有的负载平衡技术，建立一个抽象的解决困难的GPU上调度计算。我们提出了一个GPU细粒度的负载平衡抽象，从工作处理中提取负载均衡，旨在支持静态和动态调度，并通过可编程接口实现新的负载平衡调度。在我们的工作之前，释放GPU在不规则问题上的潜力的唯一方法是通过特定于应用程序的紧耦合负载平衡技术来实现工作负载平衡。通过我们的开源负载平衡框架，我们希望在GPU上开发不规则并行算法时提高程序员的生产力，并通过允许快速试验各种现有负载平衡技术来提高此类应用程序的整体性能特征。利用我们从负载平衡不规则工作负载中获得的见解，我们构建了Stream-K，这是一个以工作为中心的矩阵乘法（GEMM）和密集线性代数中相关计算的并行化。而当代的分解主要是基于瓦片的，我们的方法通过在物理处理元件之间划分均匀份额的聚合内部循环迭代来操作。这提供了计算资源的近乎完美的利用，而不管任何给定问题的输出平铺跨底层处理元素量化的效率如何。在GPU处理器上，我们的Stream-K GEMM并行化可产生高达14倍和6.7倍的峰值加速比，以及在32 K GEMM问题几何中比最先进的数学库（如CUTLASS和cuBLAS）更高且更一致的平均性能响应。
2022-12-17 cs.DC cs.DS
Exploring Fully Offloaded GPU Stream-Aware Message Passing
研究提出流触发（ST）通信策略，将同步与数据传输从CPU卸载至GPU，基于MPI单边主动目标同步实现，在节点内通信性能上显著优于标准MPI RMA和点对点通信。
2023-06-27 cs.DC cs.NI cs.PF
Exploring the Limits of GPUs With Parallel Graph Algorithms
在本文中，我们探讨了通用并行计算的图形处理器（GPU）的限制，通过研究问题，需要高度不规则的数据访问模式：列表排名和连接组件的并行图算法。这样的图形问题代表了合并GPU上的并行存储器访问的最坏情况，这对于良好的GPU性能至关重要。我们的实验研究表明，PRAM算法是一个很好的起点，开发高效的并行GPU方法，但需要非平凡的修改，以确保良好的GPU性能。我们提出了一套指导方针，帮助算法设计人员适应PRAM图算法的并行GPU计算。我们指出，GPU的并行图形算法的研究是更广泛的兴趣，一般的离散和组合问题，因为这些问题中的许多需要类似的不规则的数据访问模式。
2010-02-24 cs.CC cs.DC cs.DS
DPU: DAG Processing Unit for Irregular Graphs with Precision-Scalable Posit Arithmetic in 28nm
概率机器学习、稀疏线性代数和机器人导航等现实应用中的计算可以建模为不规则有向无环图（DAG）。DAG中的不规则数据依赖性对通用CPU和GPU上的并行执行提出了挑战，导致硬件严重利用不足。本文提出了DPU，一个专门的处理器设计的高效执行不规则的DAG。DPU配备了并行计算单元，可独立执行DAG的不同子图。计算单元可以使用硬件支持的同步原语在一个周期内同步，并通过有效的互连与全局存储的暂存器通信。此外，一个精度可扩展的并行计算的算术单元，使应用程序相关的精度。该DPU采用28 nm CMOS流片，在稀疏线性代数和概率机器学习工作负载的DAG上，与最先进的CPU和GPU实现相比，实现了5.1 $\times$和20.6 $\times$的加速比。这一性能是在0.23 W的功率预算下实现的，而CPU和GPU的功率预算分别为55 W和98 W，因此DPU的峰值效率为538 GOPS/W，分别比CPU和GPU高1350 $\times$和9000 $\times$。因此，通过专门的架构，DPU可以实现不规则DAG工作负载的低功耗执行。
2021-12-10 cs.AR cs.DC cs.SY
Parallel GPU-Enabled Algorithms for SpGEMM on Arbitrary Semirings with Hybrid Communication
Cornell University（康奈尔大学）
本文提出了一种基于GPU的分布式内存SpGEMM算法，通过混合通信方案优化进程间通信，实现对大输入矩阵的加速
2025-12-22 cs.DC
Study and evaluation of an Irregular Graph Algorithm on Multicore and GPU Processor Architectures
不规则应用是对片上多处理器（CMP）的性能可扩展性提出重大挑战的计算应用领域之一。这样的应用程序具有非常少的计算和不可预测的存储器访问模式，使得它们与计算受限的应用程序相比是内存受限的。由于处理器和存储器性能之间的差距继续存在，难以隐藏和减少这种差距是导致这些应用程序在CMP上性能不佳的重要因素之一。本论文的目标是克服许多这样的挑战，在性能加速的不规则图算法称为三元组普查。我们在两种截然不同的芯片多处理器上加速了Triad Census算法：双插槽英特尔至强多核（每个插槽8个硬件线程）和240处理器内核的NVIDIA Tesla C1060 GPGPU（每个内核128个硬件线程）。在英特尔多核至强系统上获得的实验结果显示，对于真实世界的图形数据集，性能加速（相对于基线顺序）最大为56倍，平均为33倍，最小为8.3倍。在NVIDIA Tesla C1060 GPGPU上，我们能够几乎平等地匹配多核结果-58.4倍最大，32.8倍平均和4.2倍最小加速比相对于基线序列。在原始性能方面，对于称为Patents网络的图形数据集，我们在英特尔至强多核（16 hw线程）上的结果比之前在Cray XMT（16 hw线程）上的结果快1.27倍，而在GPGPU上实现的结果相对较慢（0.72倍）。据我们所知，该算法只在超级计算机级计算机Cray XMT上进行了加速，并且没有工作证明该算法在相对较低成本…
2016-03-08 cs.DC cs.PF
Gunrock: A High-Performance Graph Processing Library on the GPU
对于GPU上的大规模图形分析，数据访问和控制流的不规则性以及GPU编程的复杂性一直是开发可编程高性能图形库的两个重大挑战。我们的图形处理系统“Gunrock”是专门为GPU设计的，它使用了一个高层次的、批量同步的、以数据为中心的抽象，专注于顶点或边缘边界上的操作。Gunrock通过将高性能GPU计算原语和优化策略与高级编程模型相结合，实现了性能和表现力之间的平衡，该模型允许程序员以较小的代码大小和最少的GPU编程知识快速开发新的图形原语。我们评估Gunrock上的五个关键图形原语，并表明Gunrock平均至少有一个数量级的加速比Boost和PowerGraph，可比的性能最快的GPU硬连线原语，和更好的性能比任何其他GPU的高级图形库。
2016-02-22 cs.DC
AxoNN: An asynchronous, message-driven parallel framework for extreme-scale deep learning
University of Maryland（马里兰大学）
AxoNN通过异步消息驱动调度和CPU内存暂存，将GPU内存消耗降低四倍，在大型Transformer模型上实现每GPU吞吐量达理论峰值54.78%，训练时间缩短15-25%。
2023-05-14 cs.AI cs.CL cs.DC
SOLANET: Distributed Neighbor Graph Construction on GPU-Accelerated Systems
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
提出SOLANET，一种在GPU加速分布式系统上通过本地图构建和远程近似最近邻搜索实现高效邻居图构建的工具，在MI300A APU上单GPU性能优于现有方法，并在大规模数据上展示近线性加速。
2026-05-26 cs.DC
Warp-STAR: High-performance, Differentiable GPU-Accelerated Static Timing Analysis through Warp-oriented Parallel Orchestration
National Taiwan University（台湾大学）
本文提出Warp-STAR，通过在织线层面协调并行计算消除不均衡，实现比现有GPU静态时序分析工具快2.4倍，同时在时序驱动全局放置框架中达到1.7倍提升，并支持可微分梯度分析。
2026-03-30 cs.DC
Tiga: Compiling Graph Message Passing at Scale
Tiga是一个即时编译器，通过多级中间表示和流式分区执行，在内存受限设备上高效编译图消息传递，减少运行时和内存使用，支持分布式执行。
2026-09-22 cs.DC
Performance Analysis and Efficient Execution on Systems with multi-core CPUs, GPUs and MICs
我们进行了比较性能研究的多核CPU，GPU和英特尔至强融核（许多集成核心- MIC）与显微镜图像分析应用程序。我们通过实验评估计算设备对应用程序核心操作的性能。我们将观察到的性能与计算设备和数据访问模式，计算复杂性和操作的并行化形式的特性相关联。结果表明，相对于所使用的器械，操作性能存在显著差异。在MIC上进行常规数据访问的操作的性能与在GPU上进行的操作的性能相当，有时甚至更好。对于不规则访问数据的操作，GPU比MIC更有效，因为MIC用于随机数据访问的带宽较低。我们提出了新的性能感知调度策略，考虑在操作加速的变化。我们的调度策略显着提高应用程序的性能相比，经典的策略在混合配置。
2015-05-14 cs.DC
Characterizing the Performance of Node-Aware Strategies for Irregular Point-to-Point Communication on Heterogeneous Architectures
超级计算机体系结构由于包含异构计算节点而趋向于更高的计算吞吐量。这些多GPU节点提高了节点上的计算效率，同时也增加了要传输的数据量和潜在数据流路径的数量。在这项工作中，我们通过性能建模的异构计算环境中的MPI不规则的点对点通信的性能特征，展示了设备感知和分级通过主机通信技术的标准通信策略的局限性。提出的模型建议通过主机进程，然后使用节点感知的通信策略，高节点间的消息计数进行通信数据。值得注意的是，这些模型还预测，当与大量节点进行通信时，利用所有可用的CPU内核来通信节点间数据的节点感知通信会导致最高性能的策略。模型验证是通过分布式稀疏矩阵向量产品的不规则点对点通信模式的案例研究。重要的是，我们包括一个讨论的影响模型预测的通信策略设计新兴的超级计算机架构。
2022-09-13 cs.DC
Efficient Execution of Irregular Wavefront Propagation Pattern on Many Integrated Core Architecture
图像处理算法的有效执行是生物信息学的一个活跃领域。在图像处理中，与不规则数据结构一起工作的一类算法或计算模式是不规则波前传播模式（IWPP）。在这个类中，元素以波传播的形式将信息传播给邻居。这种传播导致对数据的不规则访问和扩展。由于这种不规则性，这类算法的当前实现需要原子操作，这是非常昂贵的，并且还限制了在多集成核（MIC）架构中使用单指令多数据（SIMD）指令的实现，这对于在该处理器上获得高性能是至关重要的。本研究的目的是重新设计的不规则波前传播模式算法，以使处理器上的高效执行与许多集成的核心架构，使用SIMD指令。在这项工作中，使用英特尔®至强融核TM协处理器，我们实现了一个矢量版本的IWPP，与非矢量版本相比，其增益高达5.63倍，一个使用先进先出（FIFO）队列的并行版本，与协处理器上的单核版本相比，其加速高达55倍，使用优先级队列的版本，其性能比文献中可用的基于GPU的实现的最快版本高1.62倍，以及允许处理比英特尔®至强融核TM更大的图像的异构处理器之间的协作版本存储器，并且还提供了一种在计算中利用所有可用设备的方法。
2016-05-03 cs.DC
Ocean: Fast Estimation-Based Sparse General Matrix-Matrix Multiplication on GPU
Cornell University（康奈尔大学）
本文提出基于估计的SpGEMM方法，通过轻量级HyperLogLog估计器和动态分析策略优化GPU性能，实现1.4x-2.8x的加速。
2026-04-21 cs.DC cs.MS
Solving large permutation flow-shop scheduling problems on GPU-accelerated supercomputers
置换流水车间调度中的最小完工时间问题是一个著名的组合优化难题。在E.在1993年的Taillard，23个案件近30年来一直没有解决。在本文中，我们提出了我们的尝试，解决这些情况下的最优使用并行分支定界树搜索的GPU加速让Zay超级计算机。我们报告了11个以前未解决的问题实例的精确解，并改进了8个实例的上界。这些问题的解决方案既需要算法改进，也需要利用千万亿次高性能计算平台的计算能力。所面临的挑战在于，在由数百个大规模并行加速器设备和多核处理器组成的分布式系统上，高效地执行高度不规则的细粒度搜索树的并行深度优先遍历。我们提出并讨论了我们的基于置换的B&B的设计和实现，并通过实验评估其并行性能高达384 V100 GPU（200万CUDA核心）和3840 CPU核心。最大解决实例的最优性证明需要大约64 CPU年的计算-使用256个GPU和超过400万个并行搜索代理，搜索树的遍历在13小时内完成，探索339个$\times 10^{12}$节点。
2020-12-17 cs.DC
A Scalable Actor-based Programming System for PGAS Runtimes
PGAS模型非常适合在基于集群的系统上执行不规则的应用程序，因为它有效地支持短的、单侧的消息。然而，PGAS应用目前面临两个主要限制。第一个与可扩展性有关：尽管在特殊情况下支持非阻塞操作的API可用，但远程位置上的许多PGAS操作默认情况下是同步的，这可能导致长延迟和可扩展性差。第二个与生产力有关：虽然对于开发人员来说，以应用程序自然的细粒度表达所有通信更简单，但实验表明，这种自然表达的性能比更高效但生产力较低的代码慢20倍，需要手动消息聚合和终止检测。在本文中，我们介绍了一个新的编程系统的PGAS应用程序，其中点对点的远程操作可以表示为细粒度的异步演员消息。在这种方法中，程序员不需要担心与消息聚合和终止检测相关的编程复杂性。我们的方法也可以被看作是扩展经典的批量同步并行模型与细粒度的异步通信在一个阶段或超步。我们相信，我们的方法提供了一个理想的点，在生产力性能空间的PGAS应用程序，具有更多的可扩展性能和更高的生产力相对于过去的方法。具体来说，对于在NERSC Cori系统中使用2048个内核执行的Bale基准套件中的7个不规则迷你应用程序，我们的方法显示出相对于标准PGAS版本（UPC和OpenSHMEM）的几何平均性能提高>= 20倍，同时保持与这些版本相当的生产力。
2022-06-18 cs.DC
Efficient Strategies for Graph Pattern Mining Algorithms on GPUs
图模式挖掘（GPM）是一个重要的、快速发展的、计算量大的领域。GPM计算依赖于子图枚举，其包括从输入图中提取与给定属性匹配的子图。图形处理单元（GPU）已经成为许多领域加速应用程序的有效平台。然而，子图枚举的不规则性使得其在GPU上的高效执行具有挑战性，这是由于典型的未合并存储器访问、发散和负载不平衡。不幸的是，这些方面在以前的工作中没有得到充分解决。因此，这项工作提出了新的策略，设计和实现子图枚举在GPU上的效率。我们支持深度优先搜索风格搜索（DFS范围），最大限度地提高内存性能，同时提供足够的并行性供GPU利用，以及以扭曲为中心的设计，最大限度地减少执行发散并提高计算能力的利用率。我们还提出了一个低成本的负载均衡层，以避免闲置和重新分配工作线程之间的扭曲在GPU。我们的策略已部署在一个名为DuMato的系统，它提供了一个简单的编程接口，允许有效地实现GPM算法。我们的评估表明，DuMato通常比最先进的GPM系统快一个数量级，并且可以挖掘更大的子图（多达12个顶点）。
2022-12-08 cs.DC
Sphynx: a parallel multi-GPU graph partitioner for distributed-memory systems
图划分已经成为一种重要的工具，用于将工作划分到多个处理器之间，以最小化通信开销和平衡工作负载。虽然基于加速器的超级计算机正在成为标准，但随着应用程序快速迁移到这些架构，图分区的使用变得更加重要。然而，没有可用于应用程序的分布式内存并行、多GPU图形分区器。我们开发了一个光谱图分区，Sphynx，使用Trilinos框架的便携式，加速器友好的堆栈。在Sphynx中，我们允许使用不同的预处理器并利用它们的独特优势。我们使用Sphynx系统地评估频谱分割中的各种算法选择，重点是GPU性能。我们进行这些评估的两个不同类别的图形：定期（如网格，矩阵有限元法）和不规则（如社交网络和网络图），并表明，这些图形类需要不同的设置和预处理。Summit超级计算机上的实验结果表明，Sphynx是最快的替代不规则图在一个应用程序友好的设置，并获得了分区质量接近ParMETIS的规则图。与单个GPU上的nvGRAPH相比，Sphynx速度更快，获得更好的平衡和更好的分区质量。Sphynx为寻找基于GPU的分区器的应用程序提供了一个良好而强大的分区方法。
2021-05-02 cs.DC cs.DM cs.MS
Parallel Louvain Community Detection Optimized for GPUs
社区发现现在是许多基于图的应用中的重要操作。它用于揭示真实世界网络中存在的群体，而不会对社区集施加事先的大小或基数约束。尽管它的潜力，并行计算机的支持是相当有限的。其原因主要是算法的不规则性和潜在的算法暗示了顺序性。本文提出了一种基于GPU的并行版本的鲁汶方法。Louvain方法是一种用于模块化优化的多阶段迭代启发式方法。它最初是由Blondel等人（2008）开发的，该方法由于能够以快速和内存有效的方式检测高模块化社区分区而变得越来越受欢迎。所使用的并行算法首先由Hao Lu et al.（2015）引入。由于Louvain方法本质上是顺序的，它限制了可扩展使用的可能性。多亏了提出的并行算法，我观察到这种方法在GPU上的表现。为了进行评估，我在GeForce GTX 980 GPU上使用CUDA实现了虚拟化，为了进行测试，我使用了CERN开发的协作发现项目中的组织景观，该项目涉及专利和出版物，以可视化其合作者之间的技术联系。与在使用GPU的同一台机器上运行8个线程的并行Louvain实现相比，CUDA实现能够产生与CPU生成的结果相当的社区输出，同时使用GeForce GTX 980消费级GPU提供高达30的绝对加速比。
2018-05-28 cs.DC
Multithreaded Fine-Grained Asynchronous BSP for Integer Sorting with LCI and OpenMP
Advanced Micro Devices, Inc.（超威半导体公司）
针对BSP模型在非规则负载下的通信瓶颈，提出结合LCI和OpenMP的多线程细粒度异步BSP方法，通过细粒度零拷贝主动消息实现计算通信重叠，在NAS整数排序基准测试中显著优于传统同步MPI实现。
2026-05-25 cs.DC
AsyncSparse: Accelerating Sparse Matrix-Matrix Multiplication on Asynchronous GPU Architectures
Cornell University（康奈尔大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出两种新内核，利用异步GPU特性优化稀疏矩阵乘法，其中WCSR内核在SuiteSparse矩阵上性能优于现有方法，BCSR内核在Qwen2.5-7B预填充任务中实现显著加速。
2026-04-20 cs.DC
Accelerating Large Language Model Training with Hybrid GPU-based Compression
The Ohio State University（俄亥俄州立大学）
本文针对大规模LLM分布式训练中的通信瓶颈，提出按并行维度差异化设置压缩强度的混合GPU压缩方案，在192块V100 GPU上实现GPT-NeoX-20B训练吞吐量提升17.3%且保持损失收敛。
2024-09-04 cs.AI cs.DC
TC-MIS: Maximal Independent Set on Tensor-cores
Indian Institute of Technology Jodhpur（印度焦浦尔理工学院）
提出TC-MIS算法，利用张量核心将图最大独立集计算转化为稀疏矩阵向量乘法，在多种GPU架构上实现平均2.84倍至18.80倍的加速，最高达44.38倍，同时保持解质量与现有启发式方法相当。
2026-05-28 cs.DC cs.DS cs.PF
Scalable Data Assimilation with Message Passing
University College London（伦敦大学学院）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
针对数值天气预报中数据同化的分布式计算同步开销问题，将其建模为贝叶斯推理问题，采用基于局部计算的消息传递算法结合GPU加速，实现大网格规模下高精度、低计算与内存开销的可扩展数据同化。
2024-10-01 cs.DC cs.LG stat.AP
Comparative Performance Analysis of Intel Xeon Phi, GPU, and CPU
我们调查和表征一类重要的GPU和许多集成核心（MIC）架构上的操作的性能。我们的工作是由应用程序，分析低维的空间数据集捕获的高分辨率传感器，如图像数据集从整个幻灯片组织标本使用显微图像扫描仪。我们确定了对象分割和特征计算类别中的操作的数据访问和计算模式。我们系统地实现和评估这些核心操作的性能在现代CPU，GPU和MIC系统的显微图像分析应用程序。我们的研究结果表明：（1）数据访问模式和操作所采用的并行化策略强烈影响其性能。虽然执行常规数据访问的操作的MIC上的性能与GPU上的性能相当或有时更好;（2）对于不规则访问数据的操作和算法，GPU比MIC更有效。这是由于后者在随机数据访问方面性能较低的结果;（3）使用性能感知任务调度策略在MIC和CPU上充分协调执行，比先来先服务策略提高了约1.29倍。示例应用程序在192个节点（3072个CPU内核和192个MIC）的执行中获得了84%的效率。
2013-11-02 cs.DC cs.PF
Data-aware Dynamic Execution of Irregular Workloads on Heterogeneous Systems
针对异构系统调度依赖手动划分的问题，提出DyPe调度框架，通过动态分析数据特征和算子间并行性自动优化执行，在GPU-FPGA系统上相比静态调度和仅GPU方案显著提升性能与能效。
2025-02-10 cs.AR cs.DC
GLU3.0: Fast GPU-based Parallel Sparse LU Factorization for Circuit Simulation
稀疏矩阵的LU分解是电路仿真等工程和科学计算问题中最重要的计算步骤。但由于数据依赖性高和内存访问不规则，使用图形处理器（GPU）并行LU分解仍然是一个具有挑战性的问题。最近，基于GPU的混合右视稀疏LU求解器，称为GLU（1.0和2.0），已被提出利用GPU的细粒度级并行。然而，GLU引入的一种新类型的数据依赖（称为双U依赖）减慢了预处理步骤。此外，GLU使用固定的GPU线程分配策略，这限制了并行性。在这篇文章中，我们提出了一种新的基于GPU的稀疏LU分解方法，称为{ \it GLU3.0}，它解决了上述问题。首先，它引入了一个更有效的数据依赖检测算法。其次，我们观察到随着矩阵分解的进行，潜在的并行性也会有所不同，因此我们开发了三种不同的GPU内核模式，以适应矩阵分解过程中计算任务的变化。在佛罗里达大学稀疏矩阵集（UFL）的电路矩阵上的实验结果表明，GLU3.0在数据依赖性检测方面比GLU2.0提高了2-3个数量级。此外，GLU3.0实现了13.0 $\times$（算术平均值）或6.7 $\times$（几何平均值）的加速比GLU2.0和7.1 $\times$（算术平均值）或4.8 $\times$（几何平均值）比最近提出的增强型GLU2.0稀疏LU求解器在同一组电路矩阵。
2020-02-12 cs.DC cs.DS
Accelerating Domain Propagation: an Efficient GPU-Parallel Algorithm over Sparse Matrices
线性约束的快速域传播已经成为当今最好的混合整数规划和伪布尔优化算法和求解器的关键组成部分，以实现峰值求解性能。输入数据中的动态算法行为、依赖结构和稀疏模式形式的干扰使得在GPU上以及更一般地在并行架构上有效实现域传播具有挑战性。这就是为什么最先进的求解器中的域传播仅是单线程的主要原因之一。在本文中，我们提出了一种新的算法域传播（a）避免了这些问题，并允许在GPU上的有效实现，是（b）能够运行传播轮完全在GPU上，而不需要任何同步或与CPU的通信。我们提出了大量的计算结果，证明了我们的方法的有效性，并表明在实际相关的问题上有可能实现充分的加速：在最先进的GPU上，我们对合理大的实例的几何平均加速约为10倍至20倍，在相当大的实例上可以高达180倍。
2021-08-25 cs.DC cs.DM cs.DS
Performance optimization and modeling of fine-grained irregular communication in UPC
UPC程序设计语言通过逻辑分区的共享存储器提供并行性，共享存储器通常跨越物理上不相交的存储器子系统。UPC的一个方便的特性是它能够自动执行线程间数据移动，这样共享数据数组的整个内容看起来可以由所有线程自由访问。然而，程序员的友好性可能以大量的性能损失为代价。在间接索引共享数组的元素时尤其如此，因为线程间的数据通信可能是不规则的，并且具有细粒度模式。在本文中，我们研究的性能增强策略，专门针对这种细粒度的不规则通信UPC。从显式线程私有化开始，继续进行块通信，并到达消息压缩和合并，我们获得了相当大的性能改进的UPC程序，原来需要细粒度的不规则通信。除了性能增强策略，本文的主要贡献是提出性能模型的不同情况下，在形式的量化公式，取决于各种数据移动的实际量加上少量的容易获得的硬件特性参数。这些性能模型有助于验证所获得的增强功能，同时还提供了类似并行实现的有见地的预测，不限于UPC，也涉及线程间或进程间的不规则通信。作为进一步的验证，我们还将我们的性能建模方法和硬件特征参数应用到现有的UPC代码中，用于在均匀网格上求解二维热方程。
2019-12-29 cs.DC cs.PF
GPUVM: GPU-driven Unified Virtual Memory
本文提出GPUVM，一种利用RDMA网络设备构建无需CPU/OS参与的GPU驱动虚拟内存系统，通过GPU线程管理按需分页与迁移，对延迟敏感应用性能比UVM提升高达4倍。
2024-11-08 cs.DC cs.OS cs.PF
Network-in-the-Loop at Scale: GPU-Batched 5G Simulation for Massively Parallel Robot Learning
North Carolina State University（北卡罗来纳州立大学）；The Ohio State University（俄亥俄州立大学）
针对大规模并行机器人学习，提出GPU批处理5G仿真模块Isaac-Net，实现网络在环训练，在单个GPU上支持约百万机器人，并准确复现延迟与信息年龄。
2026-10-05 cs.AI cs.DC cs.NI
NCCLbpf: Verified, Composable Policy Execution for GPU Collective Communication
University of California, Santa Cruz（加州大学圣克鲁兹分校）
NCCLbpf通过验证和可组合的策略执行框架，提升GPU集体通信性能，减少停机时间并增强安全性。
2026-03-12 cs.DC cs.OS
Scalable and accurate multi-GPU based image reconstruction of large-scale ptychography data
虽然同步加速器光源的进步，以及聚焦光学器件和探测器的发展，允许材料和生物标本的纳米级重叠关联成像，但相应的实验可以产生太字节级的大量数据，这可能会给计算平台带来沉重的负担。虽然图形处理单元（GPU）为这种大规模重叠关联数据集提供了高性能，但单个GPU通常不足以进行分析和重建。一些现有的工作已经考虑利用多个GPU来加速重叠关联重建。然而，它们仅使用消息传递接口（MPI）来处理GPU之间的通信。它造成了在单个节点中具有多个GPU的配置的低效率，特别是在处理单个大投影时，因为它没有提供优化来处理包含两个低速链路的异构GPU互连，例如，PCIe和高速链路，例如，NVLink。在本文中，我们提供了一个多GPU的实现，可以有效地解决大规模重叠关联重建问题，优化性能的节点内多GPU。我们专注于传统的最大似然重建问题使用共轭梯度（CG）的解决方案，并提出了一种新的混合并行化模型，以解决CG求解器的性能瓶颈。因此，我们开发了一个工具PtyGer（Ptychographic GPU（multiple）-based reconstruction），实现了我们的混合并行化模型设计。综合评估验证了PtyGer可以完全保留原始算法的准确性，同时实现出色的节点内GPU可扩展性。
2021-06-14 cs.DC eess.IV physics.comp-ph
MoE-Hub: Taming Software Complexity for Seamless MoE Overlap with Hardware-Accelerated Communication on Multi-GPU Systems
Shanghai Jiao Tong University（上海交通大学）；Huawei Technologies Co. Ltd.（华为技术有限公司）；Peking University（北京大学）；Shanghai Qi Zhi Institute（上海人工智能实验室）
本文提出MoE-Hub，通过硬件软件协同设计解决多GPU系统中MoE动态令牌到专家映射与GPU静态地址通信模型的不匹配问题，实现通信与计算的无缝重叠，提升性能和灵活性。
2026-05-07 cs.AR cs.DC
MetaCache-GPU: Ultra-Fast Metagenomic Classification
DNA测序的成本在过去十年中呈指数级下降，使越来越多的科学家能够获得基因组数据。在生物信息学中，通常通过构建索引数据结构来促进大基因组序列内的短DNA序列（读段）的定位，所述索引数据结构允许子串的有效查询。最近的宏基因组分类流水线通过相对于参考基因组数据库分析其$k$ -mer直方图来用分类标签注释读段。基于CPU的索引构造通常在预处理阶段执行，这是因为构建不规则数据结构（如哈希映射）的成本相对较高。然而，快速增长的数量可用的参考基因组建立了索引建设和查询的互动速度的需要。在本文中，我们介绍了MetaCache-GPU -一种超快速的宏基因组短读分类器，专门为适应CUDA加速器的特性而量身定制。我们的方法采用了一种新的哈希表变体，具有高效的minhash指纹读取位置敏感的哈希和他们的快速插入使用翘曲聚合操作。我们的性能评估表明，MetaCache-GPU能够在几秒钟内构建大型参考数据库，实现即时可操作性，而流行的基于CPU的工具（如Kraken 2）需要一个多小时才能在相同的数据上构建索引。在参考基因组数量不断增长的背景下，MetaCache-GPU是第一个宏基因组分类器，它使分析管道与大规模参考基因组集的按需组合变得实用。源代码可在https://github.com/muellan/metacache上公开获得。
2021-06-14 cs.DC q-bio.GN
Rapid GPU-Based Pangenome Graph Layout
Cornell University（康奈尔大学）；Technical University of Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）；UTHSC（田纳西健康科学大学）
针对泛基因组图布局算法的高计算需求，通过缓存友好数据布局、合并随机状态和warp合并三种优化，在GPU上实现57.3倍加速且不损失布局质量。
2026-05-27 cs.CE cs.DC cs.DS
Memory Reduction using a Ring Abstraction over GPU RDMA for Distributed Quantum Monte Carlo Solver
在领导力计算设施上运行的科学应用程序通常面临的挑战是，由于内存限制（内存限制应用程序），无法将领先的科学案例安装到加速器设备上。在这项工作中，作者研究了这样一个美国能源部的关键任务凝聚态物理应用程序，动态集群近似（DCA++），本文讨论了如何通过提出一种有效的“所有对所有”的通信方法-环形通信算法，成功地减少了设备内存限制的挑战。此实现利用GPU上的加速和远程直接内存访问（RDMA）来实现GPU之间的快速数据交换。此外，通过子环通信器和多线程支持对环算法进行了优化，以分别进一步减少通信开销和暴露更多并发性。利用APEX工具分析了环形算法的计算和通信性能，并进一步讨论了环形算法实现的性能权衡。对环形算法的内存分析表明，作者的每个GPU的内存密集型数据结构的分配大小现在减少到原始大小的1/p，其中p是环形通信器中的GPU数量。通信分析表明，分布式量子蒙特卡罗执行时间随着子环大小的增加而线性增长，并且消息通过网络接口连接器的成本可能是一个限制因素。
2021-05-13 cond-mat.mtrl-sci cond-mat.str-el cond-mat.supr-con
