Hardware locality-aware partitioning and dynamic load-balancing of unstructured meshes for large-scale scientific applications
我们提出了一个开放源码的拓扑感知分层非结构化网格划分和负载均衡工具TreePart。该框架提供了强大的抽象功能，可以在运行时自动检测和构建类似硬件的分层MPI拓扑。利用这些信息，它可以智能地在共享和分布式并行算法之间进行选择，以实现分区和负载均衡。它通过与现有的共享和分布式内存并行分区库接口，提供了一系列分区方法。它提供了强大的和可扩展的抽象，如单侧分布式字典和基于MPI3共享内存的光环通信器，用于优化HPC代码。该工具被成功地集成到我们的内部代码，我们目前的结果从一个燃烧问题的大涡模拟。
2020-08-03 cs.DC
Multi-Objective Memory Bandwidth Regulation and Cache Partitioning for Multicore Real-Time Systems
本文针对多核实时系统任务-资源协同分配难题，提出0-1线性规划模型和多目标多层启发式算法，在保证EDF调度可调度性的同时最小化资源使用，实验验证其性能优于现有方法。
2025-05-15 cs.AR cs.DC cs.OS
Partitioning Trillion-edge Graphs in Minutes
我们介绍XtraPuLP，一个新的分布式内存图分区设计处理万亿边图。XtraPuLP基于可扩展标签传播社区发现技术，该技术已被证明是以最少的计算时间产生高质量分区的可行方法。在一组大型稀疏图上，我们表明XtraPuLP分区质量与最先进的分区方法相当。我们还证明了XtraPuLP可以在几分钟内生成具有十亿+顶点的真实世界图的分区。此外，我们表明，使用XtraPuLP分区的分布式内存图分析导致显着的端到端的执行时间减少。
2016-10-23 cs.DC
Scalable Shared-Memory Hypergraph Partitioning
超图划分是高性能计算应用中优化数据布局和最小化通信量的重要预处理步骤。为了应对日益增长的问题规模，它已成为越来越重要的是开发快速并行分割算法的解决方案的质量是有竞争力的现有的顺序算法。为此，我们提出了Mt-KaHyPar，第一个共享内存多级超图分区器，并行实现了顺序，高质量分区系统所使用的许多技术：使用并行社区发现作为指导的并行粗化算法，通过具有工作窃取的并行递归二分区的初始分区，可缩放标签传播细化算法，以及经典FM算法的第一个完全并行的直接$k$路公式。在不同应用领域的大量基准测试实例集上进行的实验表明了该方法的可扩展性和有效性。在64个核心的情况下，我们观察到高达51的自相关加速比和23.5的谐波平均加速比。在解决方案质量方面，我们在95%的实例上优于分布式超图分区器Zoltan，同时也快了2.1倍。只有四个核心，Mt-KaHyPar也比最快的顺序多级分区器PaToH稍快，同时在所有实例的83%上产生更好的解决方案。顺序高质量分区器KaHyPar仍然比我们的并行方法找到更好的解决方案，特别是在使用基于最大流的细化时。然而，这是以相当长的运行时间为代价的。
2020-10-21 cs.DC cs.DS
SDT-GNN: Streaming-based Distributed Training Framework for Graph Neural Networks
Texas State University（德克萨斯州立大学）；Beijing Normal–Hong Kong Baptist University（北京师范大学-香港 Baptist大学）；SK hynix America（SK hynix美国分公司）；NVIDIA（英伟达公司）
SDT-GNN提出了一种基于流的分布式图神经网络训练框架，通过流式边输入减少内存需求，并引入SPRING算法提升划分质量，实验证明其在内存占用和性能上的优势。
2025-12-08 cs.DC cs.LG
Partitioning Compute Units in CNN Acceleration for Statistical Memory Traffic Shaping
CNN的设计复杂性一直在稳步增加，以提高准确性。为了应对这种复杂CNN所需的大量计算，最新的解决方案利用在可用维度上的图像分块和多个输入图像的分块来提高存储层次结构中的数据重用。虽然已经有大量的工作，最大限度地提高数据重用，只有少数研究集中在有限的带宽造成的内存瓶颈。在CNN加速中很容易出现带宽瓶颈，因为CNN层具有不同的大小，具有不同的计算需求，并且通常在每个CNN层上执行卷积以实现理想的数据重用。在这种情况下，与层的计算需求相比，层的数据传输需求可能相对较低或较高，因此可能引起存储器访问的时间波动，最终导致带宽问题。在本文中，我们首先表明，存储器访问与计算比率存在高度波动，这取决于CNN层和计算单元（核心）处理的层中的功能，其中单元紧密同步以最大限度地提高数据重用。然后，我们提出了一个分区的计算单元，其中每个分区内的核心同步处理一批输入数据，以最大限度地提高数据重用，但不同的分区异步运行的策略。由于分区保持异步并且通常在任何给定时刻处理不同的CNN层，因此分区的存储器访问流量大小变得在统计上混洗。因此，计算单元的分区和它们的异步使用使得总存储器访问流量大小随时间平滑。我们称之为平滑统计内存流量整形，我们表明，在运行ResNet-50时，它可以在商用64核处理器上带来8.0%的性能增益。
2018-06-18 cs.DC
Scalable Graph Convolutional Network Training on Distributed-Memory Systems
Imagination Technologies（想象力科技）；University of Warwick（华威大学）
图卷积网络（GCN）被广泛用于图上的深度学习。图的大数据量及其顶点特征使得可扩展的训练算法和分布式存储系统成为必要。由于图上的卷积运算会导致不规则的内存访问模式，因此为GCN训练设计一个高效的内存和通信并行算法带来了独特的挑战。我们提出了一个高度并行的训练算法，可扩展到大型处理器计数。在我们的解决方案中，大型邻接矩阵和顶点特征矩阵在处理器之间进行划分。我们利用图的顶点分区使用处理器之间的非阻塞点对点通信操作，以获得更好的可扩展性。为了进一步减少并行化的开销，我们引入了一个稀疏矩阵分区计划的超图分区模型的基础上进行全批训练。我们还提出了一种新的随机超图模型来编码小批量训练中的预期通信量。我们展示了超图模型的优点，以前未探索的GCN训练，在标准的图划分模型，它不准确地编码的通信成本。在真实世界的图数据集上进行的实验表明，所提出的算法实现了相当大的加速比替代解决方案。在具有许多处理器的高可扩展性下，通信成本方面的优化变得更加明显。性能优势在具有更多层的更深GCN中以及在十亿级图中得以保留。
2022-12-13 cs.AI cs.DC cs.LG
An Experimental Comparison of Partitioning Strategies for Distributed Graph Neural Network Training
Technical University of Munich（慕尼黑工业大学）；University of Bayreuth（拜罗伊特大学）；University of Toronto（多伦多大学）
最近，图神经网络（GNN）作为能够在图结构数据上学习的深度学习的一个不断增长的领域获得了广泛的关注。然而，在大规模图上训练GNN的计算和内存要求使得有必要分布训练。分布式GNN训练的先决条件是将输入图划分为分布在计算集群的多台机器之间的较小部分。虽然图划分已经在图分析和图数据库方面进行了研究，但其对GNN训练性能的影响在很大程度上尚未探索。因此，目前还不清楚将计算工作投入到高质量的图划分中是否会在GNN训练场景中得到回报。在本文中，我们研究了分布式GNN训练的图划分的有效性。我们的研究旨在了解不同的因素，如GNN参数，小批量大小，图形类型，特征大小和横向扩展因子如何影响图分区的有效性。我们使用顶点和边分区对两个不同的GNN系统进行实验。我们发现，高质量的图分区是一种非常有效的优化，可以加快GNN训练并减少内存消耗。此外，我们的研究结果表明，投资的划分时间可以通过减少GNN训练时间快速摊销，使其成为大多数GNN场景的相关优化。与分布式图处理的研究相比，我们的研究表明，图划分在分布式GNN训练中起着更重要的作用，这激发了对图划分问题的进一步研究。
2024-08-12 cs.DC cs.LG
Shared-Memory n-level Hypergraph Partitioning
我们提出了一个共享内存算法来计算高质量的平衡$k$ -路超图划分问题的解决方案。该问题要求将顶点集划分为最小化连通性度量的有界大小的$k$不相交块（即，由每个超边连接的不同块的数目的总和）。高质量的解决方案是通过并行化的核心技术，目前最好的顺序分区KaHyPar：最极端的$n$级版本的广泛使用的多级范例，其中只有一个顶点是收缩在每个级别。这种方法通过侵入式算法和数据结构实现快速和可伸缩性，这些算法和数据结构允许通过原子操作和细粒度锁定精确控制并行性。我们进行了广泛的实验，超过500现实世界的超图高达$140$百万顶点和20亿针（超边大小的总和）。我们发现，我们的算法计算的解决方案，相当于一个可比的配置KaHyPar，而平均速度快一个数量级。此外，我们表明，最近的非多级算法专门设计用于划分大型实例有相当大的质量处罚，并没有明显的优势，在运行时间。
2021-04-16 cs.DC cs.DS
Streaming Hypergraph Partitioning Algorithms on Limited Memory Environments
许多众所周知的现实世界的问题都涉及到描述实体之间关系的动态数据。超图是一种强大的组合结构，经常用于对此类数据进行建模。对于今天的许多以数据为中心的应用程序来说，这些数据是流式的;新的项目不断到达，数据随着时间的推移而增长。随着物联网和边缘计算等范例的出现，这些应用变得更加自然和实用。在这项工作中，我们假设一个流模型，其中数据被建模为一个超图，这是在边缘生成的。然后，这些数据被分区，并通过在内存受限的设备（如单板的计算机）上运行的算法发送到远程节点。这种划分通常通过考虑连接性度量来执行，以最小化将以分布式方式执行的后续分析的通信成本。虽然有许多离线工具可以很好地划分静态超图，但用于流设置的算法很少。我们分析了一个著名的算法从文献中，并显着提高其运行时间，通过改变其内部数据结构。例如，在一个中等规模的超图上，新算法将运行时间从17800秒减少到10秒。然后，我们提出了基于草图和散列的算法，以及那些可以利用额外的内存来存储一小部分数据，以便在可能的情况下细化分区的算法。我们实验分析这些算法的性能，并报告其运行时间，连接度量分数，和内存使用的高端服务器和四个不同的单板计算机体系结构。
2021-03-09 cs.DC cs.DS
Automated Deep Neural Network Inference Partitioning for Distributed Embedded Systems
本文提出一种基于图的硬件感知层调度框架，用于在分布式嵌入式系统中自动寻找DNN推理的最佳划分点，在满足内存和能耗约束下显著提升吞吐量与能效。
2024-10-11 cs.AR cs.DC
Assessing Impact of Data Partitioning for Approximate Memory in C/C++ Code
近似存储器是一种以数据完整性为代价来减少存储器子系统和CPU之间的性能差距的技术。为了从实际应用的近似内存中获益，将应用程序的数据划分为近似数据和关键数据并应用不同的出错率至关重要。然而，出错率不能以细粒度的方式控制（例如，每字节），这是由于如何实现近似存储器的基本限制。因此，如果近似数据和关键数据在数据结构中交错（例如，具有指针和近似数作为其成员的C结构），数据分区可能降低应用程序的性能，因为必须将数据结构拆分为具有不同出错率的存储器区域。本文是第一篇对实际C/C++代码进行分析以评估该问题的影响的论文。首先，我们找到数据类型（例如，“int”、“struct point”），其由基准中引起最大数量的高速缓存未命中的指令评估，我们将其称为目标数据类型。其次，我们定性地估计应用程序的目标数据类型是否具有交错的近似数据和关键数据。为此，我们设置了三个标准来分析它，因为明确区分一段数据是近似数据还是关键数据是不可行的，因为它取决于每个用例。我们分析了来自SPEC CPU 2006和2个图形分析框架的11个内存密集型基准测试，并表明9个基准测试的目标数据类型是C结构或C++类（标准1）。其中，两个具有指针和非指针成员在一起（准则2），三个具有浮点数和其他成员在一起（准则3）。
2020-04-01 cs.DC
DawnPiper: A Memory-scablable Pipeline Parallel Training Framework
DawnPiper通过细粒度计算图分析、性能最优划分定理和二分划分算法，解决了流水线并行中的内存不平衡问题，显著提升了可训练批量大小和训练性能。
2025-05-09 cs.DC
Taming GPU Underutilization via Static Partitioning and Fine-grained CPU Offloading
KTH Royal Institute of Technology（皇家理工学院）；William & Mary（威廉与玛丽学院）
本文通过静态分区和细粒度CPU卸载技术，减少GPU资源空置，提升系统吞吐量和能效，同时解决多实例GPU在HPC工作负载中的性能干扰问题。
2026-04-09 cs.DC
Sphynx: a parallel multi-GPU graph partitioner for distributed-memory systems
图划分已经成为一种重要的工具，用于将工作划分到多个处理器之间，以最小化通信开销和平衡工作负载。虽然基于加速器的超级计算机正在成为标准，但随着应用程序快速迁移到这些架构，图分区的使用变得更加重要。然而，没有可用于应用程序的分布式内存并行、多GPU图形分区器。我们开发了一个光谱图分区，Sphynx，使用Trilinos框架的便携式，加速器友好的堆栈。在Sphynx中，我们允许使用不同的预处理器并利用它们的独特优势。我们使用Sphynx系统地评估频谱分割中的各种算法选择，重点是GPU性能。我们进行这些评估的两个不同类别的图形：定期（如网格，矩阵有限元法）和不规则（如社交网络和网络图），并表明，这些图形类需要不同的设置和预处理。Summit超级计算机上的实验结果表明，Sphynx是最快的替代不规则图在一个应用程序友好的设置，并获得了分区质量接近ParMETIS的规则图。与单个GPU上的nvGRAPH相比，Sphynx速度更快，获得更好的平衡和更好的分区质量。Sphynx为寻找基于GPU的分区器的应用程序提供了一个良好而强大的分区方法。
2021-05-02 cs.DC cs.DM cs.MS
Sorting and Permuting without Bank Conflicts on GPUs
在本文中，我们看看在图形处理单元（GPU）的共享内存中没有任何银行冲突的设计算法的复杂性。给定$n$、$w$处理器和$w$存储体大小的输入，我们研究了三个基本问题：排序、置换和$w$路划分（定义为对包含$[w]$中每个整数的$n/w$副本的输入进行排序）.我们解决了最佳的$O(\frac{n}{w} \log n)$时间排序。当使用$n \ge w^2$时，我们在$O(n/w)$时间内最优地解决了划分问题。我们还提出了一个一般的解决方案的分区问题，需要$O(\frac{n}{w} \log^3_{n/w} w)$的时间。最后，我们使用随机算法在$O(\frac{n}{w} \log\log\log_{n/w} n)$时间内解决置换问题。我们的研究结果表明，当工作与银行的内存架构，有这些问题之间的分离和排列和分区问题是不容易的简单的并行扫描。
2015-07-06 cs.DC cs.DS
Parallel In-Memory Evaluation of Spatial Joins
空间连接操作是空间数据库系统中的一种常用操作，其评价是一个研究较多的问题。随着主存容量的增大和速度的提高，以及通用硬件对并行处理的支持，需要对经典的连接算法进行改进，这些算法是为I/O限制处理而设计的。鉴于此，我们研究了内存中的空间连接和并行计算，通过重新设计一个经典的基于分区的算法，考虑替代方法的空间分区。我们的研究表明，相比一个简单的算法实现，我们的调整可以显着提高性能。我们还展示了如何根据数据统计选择适当的分区参数，以便针对给定的连接输入调整算法。我们的并行实现可以优雅地扩展线程的数量，将连接的成本降低到最多一秒，即使对于具有数千万个矩形的连接输入。
2019-10-09 cs.DB cs.DC
Large Language Model Partitioning for Low-Latency Inference at the Edge
Athens University of Economics and Business（雅典经济与商业大学）；Huawei European Research Center（华为欧洲研究中心）
本文提出一种资源感知的 Transformer 划分算法，在注意力头级别动态划分并迁移解码器模块，利用多头并行执行降低边缘环境下的推理延迟和内存压力。
2025-05-05 cs.AI cs.DC
Edge coloring in unstructured CFD codes
我们提出了一种方法，防止种族条件的表面积分的贡献，在不连续的Galerkin和有限体积流求解器的评价着色的边缘（或面）的计算网格。在这项工作中，我们使用的分区算法，三角形元素的边缘分为三组和四角和四面体元素的面分为四组，然后我们扩展这种分区自适应细化，cross-mesh。我们使用归因着色，以减少代码内存需求和优化访问内存中的基本数据。这个过程减少了内存访问延迟，并加快了图形处理单元的计算速度。
2017-04-19 cs.DC
A Moveable Beast: Partitioning Data and Compute for Computational Storage
多年来，硬件趋势已经引入了各种异构计算单元，同时还将网络和存储带宽带入存储器子系统的数量级内。作为回应，开发人员已经使用越来越多的奇异解决方案来从硬件中提取更多性能;通常依赖于其程序的静态设计时分区，这些分区无法跟上在存储设备的深化层次结构中分层计算单元的存储系统。我们认为，动态的，即时分区的计算提供了一个解决方案，新兴的数据密集型系统，以克服不断增长的数据大小在面对停滞的CPU性能和内存带宽。在本文中，我们描述了我们的原型计算存储系统（CSS），Skytether，采用数据库的角度来利用计算存储驱动器（CSD）。我们还介绍了MSG Express，一个位于Skytether之上的单细胞基因表达数据的数据管理系统。我们讨论了四个设计原则，指导我们的CSS的设计：支持科学应用程序;最大限度地利用存储，网络和内存带宽;最大限度地减少数据移动;并使自主CSD灵活的程序执行。Skytether是为CSD引入存储系统的额外间接层而设计的，它使用可分解查询来采用一种新的计算存储方法，这种方法已经被想象出来，但尚未被探索。在本文中，我们评估：分区策略，函数执行的开销，选择和投影的性能。与消费级客户端CPU相比，我们预计CSD的性能会降低约3- 4倍，但我们观察到意外的约15倍的性能下降，然而，我们的评估结果帮助我们在设计空间中设置锚点，以开发可分解查询的成本模型并在许多CSD中划分数据。
2023-01-18 cs.DC
Brief Announcement: Distributed Unconstrained Local Search for Multilevel Graph Partitioning
本文提出一种适合分布式划分器的无约束局部搜索算法，并将其集成到分布式多层次图划分器中，大幅缩小了分布式与顺序划分器间的质量差距，且在扩展至数千个PE的同时实现了更小的切割和更快的速度。
2024-06-05 cs.DC cs.DS
Alpaca: Intermittent Execution without Checkpoints
能量收集设备的出现为无电池传感和计算设备创造了潜力。这些设备只能间歇性地运行，因为能源是可用的，这给软件开发人员带来了许多挑战。程序员面临着一个复杂的设计空间，需要对能量、内存一致性和向前进展进行推理。本文介绍了Alpaca，一个低开销的间歇计算的能量收集设备的编程模型。Alpaca程序由一系列用户定义的任务组成。Alpaca运行时以任务的粒度保留执行进度。Alpaca的关键见解是任务之间共享数据的私有化。任务中共享值的更新是私有化的，仅在任务成功执行时提交到主存，确保数据在断电时保持一致。Alpaca提供了熟悉的编程接口和高效的运行时模型。我们还提供了Alpaca的一个替代版本Alpaca-undo，它使用undo-logging和rollback来代替私有化和提交。我们实现了两个版本的Alpaca的原型，作为对C的扩展，并使用LLVM编译器传递。我们评估了Alpaca，并直接与之前工作中的三个系统进行了比较。与以前的系统相比，Alpaconsimme将性能提高了23.8倍，同时在许多情况下还将内存占用量提高了17.6倍。
2019-09-13 cs.DC
Shard the Gradient, Scale the Model: Serverless Federated Aggregation via Gradient Partitioning
Department of Computer Science and Engineering, Oakland University（计算机科学与工程系，奥克兰大学）
本文提出GradsSharding方法，通过将梯度张量划分为多个碎片，实现无服务器环境下的联邦学习聚合，解决了内存限制问题，支持更大模型。
2026-04-23 cs.AI cs.DC
COMPASS: A Compiler Framework for Resource-Constrained Crossbar-Array Based In-Memory Deep Learning Accelerators
Seoul National University（首尔大学）
针对基于交叉阵列的内存中加速器因网络规模增大面临的片上存储不足问题，提出编译器框架COMPASS，通过最优层划分算法优化多指标，实现更高吞吐量和能效。
2025-01-12 cs.AR cs.DC cs.ET
A Distributed Partitioning Software and its Applications
本文提出一种面向动态负载的分布式几何划分软件，结合几何信息与统计数据，采用分层分解、空间填充曲线和贪心背包算法，并在许多核HPC机器上验证了其在网格划分、点定位和图划分中的性能。
2025-08-16 cs.DC
Optimizing Teacher-Student Partitioning for Scalable Knowledge Distillation on HPC Systems
Qualcomm AI Research（高通AI研究）
针对知识蒸馏中师生模型不对称性，提出 HPC 感知方法，通过解耦师生划分、避免冗余数据结构并选择最优拆分策略，在 HPC 集群上实现高达 67% 的吞吐量提升。
2026-06-29 cs.AI cs.DC cs.LG
Armada: Memory-Efficient Distributed Training of Large-Scale Graph Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Apple（苹果公司）
Armada提出GREM分区算法与解耦架构，实现高效大规模GNN分布式训练，分区质量媲美METIS，内存减少8-65倍，速度提升8-46倍，运行时间改进达4.5倍。
2025-02-25 cs.DC cs.LG
Maximal Atomic irRedundant Sets: a Usage-based Dataflow Partitioning Algorithm
允许多面体表示的程序可以通过许多方式进行局部性和并行性转换，特别是循环平铺。然后，数据流分析可以计算迭代之间和瓦片之间的依赖关系。当应用分块时，某些迭代依赖性跨越分块边界，从而产生对分块间数据通信的需要。以前的工作将其计算为迭代瓦片的流入和流出集。在本文中，我们提出了一个分区的流出一个瓦片的最大集的迭代完全消耗，不会产生冗余的存储或传输。计算被描述为一种算法，并在选择的多面体程序上执行。然后，我们提出了这种分解在压缩和内存分配中的可能应用。
2022-11-29 cs.DC cs.PL
Partitioning sparse deep neural networks for scalable training and inference
University of Warwick（华威大学）
最先进的深度神经网络（DNN）具有显著的计算和数据管理要求。训练数据和模型的大小都在持续增加。稀疏化和修剪方法被证明是有效的，在DNN中删除大部分连接。由此产生的稀疏网络提出了独特的挑战，以进一步提高深度学习中训练和推理的计算效率。用于训练稀疏DNN的随机梯度下降（SGD）算法中的前馈（推断）和反向传播步骤都涉及连续的稀疏矩阵向量乘法（SpMV）。我们首先介绍了一个分布式内存并行SpMV为基础的SGD算法的解决方案，以提高其可扩展性。并行化方法是基于权值矩阵的逐行划分，权值矩阵表示连续层之间的神经元连接。然后，我们提出了一种新的超图模型划分权重矩阵，以减少总的通信量，并确保处理器之间的计算负载平衡。在稀疏DNN上进行的实验表明，所提出的解决方案是高效和可扩展的。通过利用所提出的矩阵划分方案，我们的解决方案的性能进一步显着提高。
2021-04-23 cs.AI cs.DC cs.LG
Multiscale Parallel Simulation of Malignant Pleural Mesothelioma via Adaptive Domain Partitioning -- an Efficiency Analysis Study
本文提出一种针对恶性胸膜间皮瘤生长模拟框架的并行效率分析方法，通过自适应域划分、CPM与PDE耦合及mpi4py并行化，显著降低计算开销并提升求解效率。
2025-05-05 cs.CE cs.DC q-bio.QM
AWAPart: Adaptive Workload-Aware Partitioning of Knowledge Graphs
University of Georgia（佐治亚大学）
大规模知识图谱在许多领域中越来越常见。它们的大尺寸通常超过了将图存储在集中式数据存储中的系统的限制，特别是如果放置在主存中。为了克服这个问题，需要将大型知识图谱划分为多个子图，并将其放置在分布式系统中的节点中。但是查询这些碎片化的子图带来了新的挑战，例如由于涉及切割边缘的分布式连接而增加的通信成本。为了解决这些问题，一个好的分区应该在考虑给定查询工作负载的同时减少边切割。但是，分区图需要不断地重新分区，以适应查询工作负载的变化，并保持良好的平均处理时间。本文提出了一种大规模知识图谱的自适应划分方法，该方法根据查询负载的变化来调整划分。我们的评估表明，查询的处理时间的性能提高后，动态适应知识图谱三元组的划分。
2022-03-28 cs.AI cs.DB cs.DC
ALP: Alleviating CPU-Memory Data Movement Overheads in Memory-Centric Systems
在NDP和主机CPU核之间划分应用程序导致段间数据移动开销，这是由移动从一个段生成的数据（例如，指令、函数）并在连续的段中使用。以前的作品采取两种方法来解决这个问题。第一类工作基于每个段的属性将段映射到NDP或主机核，忽略段间数据移动开销。第二类工作基于每个段的总体内存带宽节省来划分应用程序，并且如果它们引起高段间数据移动，则不将每个段卸载到最适合的核心。我们表明，1）将每个段映射到其最佳拟合的核心理想地可以提供实质性的好处，2）段间的数据移动显着降低了这种好处。为此，我们引入ALP，一个新的程序员透明的技术，以利用NDP的性能优势，减轻主机和内存之间的段间数据移动开销，并实现有效的分区应用程序。ALP通过主动准确地在段之间传输所需数据来减少段间数据移动开销。这是基于一个关键的观察，即生成段间数据的指令在不同输入上的程序的不同执行中保持相同。ALP使用编译器通道来识别这些指令，并使用专用硬件在运行时在主机和NDP内核之间传输数据。ALP有效地将应用程序段映射到主机或NDP，考虑1）每个段的属性，2）段间数据移动开销，以及3）是否可以及时减轻该开销。我们评估了ALP在广泛的工作负载，并显示平均54.3%和45.4%的加速相比，只有主机CPU或只有NDP执行，分别。
2022-12-13 cs.AR cs.DC
WawPart: Workload-Aware Partitioning of Knowledge Graphs
University of Georgia（佐治亚大学）
如今，知识图谱形式的大规模数据集经常用于许多领域。知识图谱的大小通常超过单个计算机系统的容量，特别是如果图谱必须存储在主存储器中。为了克服这个问题，知识图谱可以被划分为多个子图，并作为碎片分布在许多计算节点之间。然而，在图上执行的许多常见任务（例如查询）的性能因此受到影响。这是由于图边交叉（切割）分区所要求的分布式连接。在本文中，我们提出了一种知识图谱分区的方法，考虑到一组查询（工作负载）。由此产生的分区旨在减少分布式连接的数量并提高工作负载性能。在查询工作负载和知识图谱中识别的关键特征被用于聚类查询，然后划分图。重新编写图以说明图分区。我们的评估结果表明，工作负载处理时间的性能改善。
2022-03-28 cs.AI cs.DB cs.DC
Data Partitioning for Parallel Entity Matching
实体匹配是Web数据集成中的一个重要而又困难的步骤。为了减少通常高的匹配执行时间，我们研究如何在分布式基础设施上并行执行实体匹配。我们提出了不同的策略来划分输入数据，并生成多个匹配任务，可以独立执行。我们的策略之一，支持这两个，阻塞，以减少搜索空间匹配和并行匹配，以提高效率。特别注意数据分区的数量和大小，因为它们会影响单个匹配任务的总体通信开销和内存需求。我们已经开发了一个基于服务的分布式基础设施的并行执行匹配工作流。我们详细评估了我们的方法，用于匹配不同网络商店的真实产品数据的不同匹配策略。我们还考虑了缓存的输入实体和基于亲和力的匹配任务的调度。
2010-06-28 cs.DC
WindGP: Efficient Graph Partitioning on Heterogenous Machines
针对现有图划分方法无法适配异构机器、难以平衡计算与通信成本的问题，本文提出WindGP算法，通过预处理、最佳优先搜索和局部搜索优化划分，性能优于现有方法1.35-27倍且可扩展性良好。
2024-03-06 cs.DC
An Analysis of Collocation on GPUs for Deep Learning Training
IT University of Copenhagen（哥本哈根信息技术大学）
本文在 A100 上对比 MIG、MPS 与多进程协同定位，分析不同模型组合下的深度学习训练性能，发现 MPS 对单用户最灵活高效。
2023-04-24 cs.DC cs.LG
Elixir: Train a Large Language Model on a Small GPU Cluster
HPC-AI Technology Inc.（HPC-AI科技公司）；National University of Singapore（新加坡国立大学）
本文提出 Elixir 方案，通过运行前模型剖析自动选择内存划分与卸载的最优组合，在小型 GPU 集群上高效训练大语言模型，并在 GPT-2 上实现最高 3.4 倍加速。
2023-05-31 cs.AI cs.DC cs.LG
Collaborative Processing for Multi-Tenant Inference on Memory-Constrained Edge TPUs
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Indian Institute of Science（印度科学研究所）
本文提出SwapLess系统，通过分析队列模型动态调整计算分配，降低多租户环境下边缘TPU的端到端延迟，单租户任务平均延迟降低63.8%，多租户任务降低77.4%。
2026-05-12 cs.DC cs.PF
Optimizations to the Parallel Breath First Search on Distributed Memory
图及其遍历由于其适用于数学、科学和技术的各个领域而变得越来越重要。生物化学（基因组学）、电子工程（通信网络）、计算机科学（算法和计算）等领域的各种问题都可以建模为图问题。真实世界的场景，包括社区，他们的相互联系和相关的属性可以使用图进行研究。因此快速、可扩展、低成本地执行并行图算法是非常重要的。在这个实现中的并行宽度优先搜索的图形，我们实现了并行BFS算法与1-D分区的图中所描述的[2]，并已减少了执行时间，通过优化通信的本地缓冲区。
2020-03-10 cs.DC
Optimal Round and Sample-Size Complexity for Partitioning in Parallel Sorting
本文研究并行排序中均衡划分的采样与直方图统计轮数及样本量复杂度，证明$O(\log^* p)$轮且每轮$O(p/\log^* p)$样本的上界及匹配下界，并证明一轮算法的最优样本下界为$\Omega(p \log p)$。
2023-05-28 cs.DC
Distributed-Memory Parallel Algorithms for Fixed-Radius Near Neighbor Graph Construction
本文提出基于覆盖树的分布式内存并行算法，用于一般度量空间中的固定半径近邻图构建，在百万点高维数据集上实现高达1590.99倍加速。
2025-10-15 cs.CG cs.DC cs.DS
