Towards performance portability through locality-awareness for applications using one-sided communication primitives
MPI是高性能计算中应用最广泛的数据传输和通信模型。该标准的最新版本MPI-3允许熟练的程序员利用最新和未来超级计算系统的所有硬件功能。修改后的异步远程内存访问模型结合共享内存窗口扩展,特别是允许编写隐藏通信延迟的代码,并根据数据源和目的地的位置优化通信路径。后者对于今天的多核和众核系统尤为重要。然而,编写如此高效的代码是非常复杂和容易出错的。在本文中,我们评估了最近的远程内存访问模型,即DART-MPI。该模型声称对程序员隐藏了上述复杂性,但提供了本地感知的远程内存访问语义,在多核系统上优于MPI-3单边通信原语。从概念上讲,DART-MPI接口很简单;同时,它还考虑了底层MPI-3和系统拓扑的复杂性。这使得DART-MPI成为移植遗留应用程序的有趣候选者。我们评估这些索赔使用一个现实的科学应用程序,特别是有限差分模板代码,解决了热扩散方程,在一个大规模的克雷XC 40安装。
2016-09-29 cs.DC
Exploiting Locality in Lease-Based Replicated Transactional Memory via Task Migration
我们提出了Lilac-TM,第一个本地感知的分布式软件传输内存(DSTM)的实现。Lilac-TM是一个完全分散的基于租赁的复制DSTM。它采用了一种新颖的自优化租赁循环方案,该方案基于动态确定是否将事务迁移到拥有其验证所需的租赁的节点,或者要求发起事务的节点获取这些租赁的思想。我们的实验评估表明,Lilac-TM为分布式工作负载提供了显着的性能增益,表现出数据本地性,而通常不会产生非数据本地工作负载的开销。
2013-08-09 cs.DB cs.DC
Locality and Singularity for Store-Atomic Memory Models
鲁棒性是在宽松的一致性模型下运行的并发程序的正确性概念。任务是检查放松的行为与顺序一致性(SC)一致(直到跟踪)。虽然在理论上计算简单(鲁棒性已被证明是TSO,PGAS和Power的PSPACE完全),但构建实用的鲁棒性检查器仍然是一个挑战。问题是,各种松弛导致大量的计算,其中只有少数违反鲁棒性。在本文中,我们着手减少搜索空间的鲁棒性检查。我们专注于存储原子一致性模型,并建立两个完整性结果。第一个结果,称为局部性,指出一个非健壮的程序总是包含一个违反计算,只有一个线程延迟命令。第二个结果,称为奇点,甚至更强,但仅限于没有轻量级围栏的程序。它指出,有一个违反计算,其中一个单一的存储被延迟。作为一个应用的结果,我们推导出一个线性大小的源到源的翻译的SC可达性的鲁棒性。它适用于一般程序,无论数据域如何,并且可能具有无限数量的线程和无限的缓冲区。我们已经实现了翻译,并首次以全自动的方式验证了PGAS算法。对于TSO,我们的分析优于现有工具。
2017-03-14 cs.DC
Bridging Cache-Friendliness and Concurrency: A Locality-Optimized In-Memory B-Skiplist
Georgia Institute of Technology(佐治亚理工学院);University of Chicago(芝加哥大学);Northeastern University(东北大学)
本文提出一种局部性优化的并发内存 B-skiplist,通过自顶向下单趟插入算法与并发控制方案提升缓存局部性,在 128 线程下吞吐量较现有并发 Skiplist 提升 2x-9x,且延迟显著降低。
2025-09-16 cs.DC
Performance Evaluation of Unified Parallel C for Molecular Dynamics
分区全局地址空间(PGAS)将共享内存编程的概念以及消息传递提供的数据分布和局部性控制集成到单个并行编程模型中。将分布式数据与共享内存结合起来的目的是培养一种局部感知的共享内存范例。PGAS由单个共享地址空间组成,该空间在线程之间进行分区。每个线程在本地内存中都有一部分共享地址空间,因此它可以通过主要对本地数据进行计算来利用数据局部性。统一并行C(UPC)是ISO C的并行扩展和PGAS模型的实现。在本文中,我们评估UPC的性能的基础上,从分子动力学的真实世界的情况。
2016-03-12 cs.DC
Characterizing Optimizations to Memory Access Patterns using Architecture-Independent Program Features
高性能计算开发人员面临着在不同架构上优化OpenCL工作负载性能的挑战。架构无关的OpenCL特性描述(AIWC)工具是Oclgrind OpenCL模拟器的一个插件,它收集OpenCL程序的指标,可用于理解和预测程序在任意给定硬件架构上的性能。然而,AIWC指标并不总是容易解释的,并不反映一些重要的内存访问模式,影响跨架构的效率。我们提出了一个新的度量并行空间局部性-内存访问同时发出的OpenCL工作项(线程)的接近度。我们实现了并行空间局部性度量的AIWC框架,并分析了矩阵乘法和扩展OpenDwarfs OpenCL基准测试的结果。在矩阵乘法的实现中观察到的并行空间局部性度量的差异反映了所执行的优化。新的度量标准可用于区分OpenDwarfs基准测试,基于影响其在各种架构上的性能的内存访问模式。向AIWC提出的改进建议将帮助HPC开发人员更好地理解复杂代码的内存访问模式,并指导针对任意硬件目标的代码优化。
2020-03-12 cs.DC
PERKS: a Locality-Optimized Execution Model for Iterative Memory-bound GPU Applications
针对迭代型内存受限GPU应用,提出持久内核执行模型PERKS,将时间循环移入内核并利用寄存器/共享内存缓存减少访存,在2D/3D模板和共轭梯度求解器上分别获得最高2.12倍和4.86倍加速。
2023-05-12 cs.DC
Boosting Memory Access Locality of the Spectral Element Method with Hilbert Space-Filling Curves
我们提出了一种算法的基础上Hilbert空间填充曲线重新排序网格元素在内存中使用的谱元素方法,旨在实现更少的缓存未命中,更好的本地数据引用和更快的执行。我们提出了一种技术,数值模拟声波在2D域中的传播,使用谱元法,并讨论计算性能方面的这个过程。我们重新排序网格相关的数据,通过希尔伯特曲线,以实现相当大的减少在共享内存系统中的几个网格配置下的执行时间。我们的实验表明,希尔伯特曲线的方法可以很好地与网格的几个粒度,也与小的和大的变化元素的大小,实现减少9%和25%之间的执行时间相比,其他三个排序方案。
2021-04-17 cs.DC cs.MS cs.PF
On Optimizing Locality of Graph Transposition on Modern Architectures
针对传统图转置算法内存开销大、难以适配大规模图的问题,本文提出PoTra算法,通过适配CPU缓存规模、利用图偏斜度分布优化局部性,在多架构与大规模数据集上实现了最高8.7倍的性能提升。
2025-01-12 cs.AR cs.DC cs.DS
BDDT-SCC: A Task-parallel Runtime for Non Cache-Coherent Multicores
本文介绍了BDDT-SCC,一个非缓存一致性多核处理器的任务并行运行时系统,实现了英特尔单芯片云计算机。BDDT-SCC运行时包括动态依赖分析和自动同步,并在非缓存一致性架构上执行OpenMP-Ss任务。我们设计了一个运行时,使用快速的片上内核间通信与小消息。同时,我们使用非一致性共享内存来避免大量的核到核数据传输,这将导致大量不必要的复制。我们评估BDDT-SCC的一组代表性的基准,在任务的粒度,局部性和通信。我们发现,内存的局部性和分配在性能中起着非常重要的作用,SCC内存控制器的体系结构可以产生强烈的竞争效应。我们建议的模式,提高内存局部性,从而提高应用程序的性能,并衡量其影响。
2016-06-14 cs.DC cs.PL
Exponential Speedup Over Locality in MPC with Optimal Memory
局部可检查标号(LCL)问题是一个图问题,如果它的解在每个节点的局部邻域内满足给定的约束条件,则它是正确的。这类问题的例子包括最大匹配、最大独立集和着色问题。一个成功的研究路线一直在研究LCL问题的复杂性的路径/循环,树,和一般的图形,提供了许多有趣的结果,分布式计算的并行计算模型。在这项工作中,我们开始在低空间大规模并行计算(MPC)模型的LCL问题的研究。特别是,在森林,我们提供了一种方法,考虑到LCL问题的复杂性,自动提供了一个指数更快的算法的低空间MPC设置,使用最佳的全局内存,即真正的线性。虽然限制到森林似乎削弱了结果,但我们强调,MPC设置的所有已知(条件)下限都是通过提升树状网络(森林或高围长图)中分布式设置中获得的下限而获得的,因此我们研究的问题已经在森林上具有挑战性。此外,我们的算法的最重要的技术特点是,他们使用最佳的全局内存,即内存线性图的边数。相比之下,大多数最先进的算法使用的不仅仅是线性全局内存。此外,他们通常从密集图开始,将其稀疏化,然后在残差图上解决问题,利用全局内存的相对增加。在森林中,这是不可能的,因为给定的图已经尽可能稀疏,并且使用最佳内存需要新的解决方案。
2022-08-19 cs.DC cs.DS
Gang-GC: Locality-aware Parallel Data Placement Optimizations for Key-Value Storages
许多云应用程序依赖于快速和非关系存储来帮助处理大量数据。托管运行时现在被广泛用于支持NoSQL运动的几种存储解决方案的执行,特别是在处理大数据键值存储驱动的应用程序时。然而,这些运行时的好处可能受到现代并行面向吞吐量的GC算法的限制,其中相关对象可能分散在内存中,无论是在同一代还是不同代。从长远来看,这会导致更多的页面错误和系统级内存缓存的局部性下降。我们建议,Gang-CG,现代堆布局和并行GC算法的扩展,以促进相关对象组之间的局部性。这是在不对应用程序进行大量剖析的情况下完成的,并且以对程序员透明的方式完成,而不需要使用专门的数据结构。堆布局和算法扩展是在HotSpot JVM的Parallel Scavenge垃圾收集器上实现的。使用微基准测试,捕捉几个键值存储数据库的体系结构,我们在频繁的操作,如新对象的分配和数据的访问速度的提高,支持系统级内存缓存中的较低的未命中率可以忽略不计的开销。总的来说,我们显示了6%的读取和更新操作的平均时间的改善和平均减少12.4%的页面错误。
2017-04-11 cs.DC cs.PL
Mitigating inefficient task mappings with an Adaptive Resource-Moldable Scheduler (ARMS)
随着现代和未来的高性能计算(HPC)系统逐渐由具有非均匀存储器访问权限的多套接字和多小芯片节点组成,复杂存储层次结构上的高效运行时任务调度变得越来越重要。现有的局部感知调度方案要么需要控制内存约束任务的数据放置策略,要么最大限度地提高所有类别的计算的局部性,从而导致潜在的性能损失。虽然这样的方法是可行的,自适应调度策略是优选的,以提高本地性和资源共享效率,使用便携式编程方案。在本文中,我们提出了自适应资源可模塑的任务(ARMS),在运行时动态映射到一个分区跨越一个或多个线程的任务和DAG的要求的基础上。调度器为每个由任务类型(功能)和任务拓扑(DAG内的任务位置)组成的元组的本地和非本地调度成本构建一个在线平台独立模型。我们评估ARMS使用任务并行版本的SparseLU,2D Stentrum,FMM和MatMul为例。与以前的方法相比,ARMS实现了高达3.5倍的性能增益超过最先进的本地感知调度方案。
2021-12-17 cs.DC cs.PF
New Thread Migration Strategies for NUMA Systems
多核系统在执行共享存储器并行代码时呈现影响性能的板上存储层次结构和通信网络。描述这种影响是复杂的,理解特定硬件配置对不同代码的影响至关重要。在以前的作品中,在运行时从硬件计数器中提取的监控信息已被用来在并行代码中的每个线程的行为,在每秒的浮点操作的数量,操作强度,和存储器访问的延迟。我们建议使用这些信息来指导线程迁移策略,通过增加本地性和亲和力来提高执行效率。采用不同配置的多核NAS并行OpenMP基准测试来验证所提出的线程迁移策略的优势。我们提出的策略产生高达70%的改善的情况下,本地性和亲和力低,有一个小的性能退化代码具有高的本地性和亲和力。
2018-09-28 cs.DC cs.PF
Characterizing LLM Kernel Access and Memory Interaction in Multi-Partition NUMA GPUs
University of Maryland College Park(马里兰大学帕克分校);AMD(超威半导体)
本文针对多分区NUMA GPU中LLM内核访问与内存交互问题,通过分析三类LLM内核实现,提出内存追踪与周期级模拟方法,划分操作数共享模式并给出对应优化策略,强调需针对性内核编程与架构支持。
2026-08-03 cs.AR cs.DC cs.PF
Large-Scale Distributed Learning via Private On-Device Locality-Sensitive Hashing
University of Maryland(马里兰大学)
针对分布式与联邦场景中端侧内存受限及数据隐私问题,提出基于新哈希函数族的私有个性化端侧 LSH 框架,支持压缩权重和串行生成/丢弃哈希表,并在大规模推荐网络训练中表现出竞争力。
2023-06-05 cs.CR cs.DC cs.LG
Modeling the Effect of Data Redundancy on Speedup in MLFMA Near-Field Computation
University of Tehran(德黑兰大学)
本文通过引入数据冗余技术,提升MLFMA近场计算在GPU上的性能,尽管存在数据重构开销,但局部性改进显著提升了速度,验证了该方法的有效性。
2025-11-26 cs.DC cs.PF
s-Step Orthomin and GMRES implemented on parallel computers
正交法和广义最小残量法是求解非对称线性系解的常用迭代法。这些方法的s步推广通过形成s个同时搜索方向向量来增强其数据局部性、并行性和性能。良好的数据局部性是在分级存储超级计算机上实现接近峰值速率的关键。Arnoldi和Omin的s步的理论推导在过去已经发表。在这里,我们推导出s-步GMRES方法。然后,我们实现了s-步骤Omin和GMRES上的Cray-2分级存储超级计算机。
2020-01-27 cs.DC cs.NA math.NA
OLED-MoE: Accelerating MoE-Based dLLM Inference via Inter-Iteration Locality-Aware Expert Offloading
Tianjin University(天津大学)
针对扩散大语言模型(dLLM)中MoE专家卸载延迟高的问题,提出OLED-MoE,利用迭代间专家重用和置信度预测保留高价值专家,协同CPU-GPU执行,显著降低TPOT并提高缓存利用率。
2026-09-29 cs.CL cs.DC