Load-Balanced Bottleneck Objectives in Process Mapping
我们提出了一个新的问题制定图分区,是针对现代异构超级计算机上的时间关键型模拟的需求。
2020-01-27 cs.DC
A Geometric Approach to Matrix Ordering
我们提出了一种递归的方法来划分超图,创建和利用超图几何,适用于众核并行架构。这样的划分然后被用于以递归的有界块对角形式(用于处理器无关的并行LU分解)或递归的分离块对角形式(用于高速缓存无关的稀疏矩阵向量乘法)来带来稀疏矩阵。我们表明,所获得的分区和排序的质量是有竞争力的,通过比较所获得的填充LU分解与SuperLU(具有更好的结果为28个测试矩阵中的8个)和比较切割的大小稀疏矩阵向量乘法与蒙德里安(具有更好的结果为12个测试矩阵中的4个)。新方法的主要优点是其速度:它平均比Mondriaan快21.6倍。
2011-05-23 cs.DC cs.DS
A Distributed Partitioning Software and its Applications
本文提出一种面向动态负载的分布式几何划分软件,结合几何信息与统计数据,采用分层分解、空间填充曲线和贪心背包算法,并在许多核HPC机器上验证了其在网格划分、点定位和图划分中的性能。
2025-08-16 cs.DC
High-Quality Hierarchical Process Mapping
当在并行计算机上处理图形时,将图形划分为大小大致相等的块,使得块之间的边很少,这是经常需要的操作。当一个分布式系统的拓扑结构是已知的,一个重要的任务,然后将分区的块映射到处理器上,从而降低整体通信成本。我们提出了新的多级算法,集成图分区和进程映射。我们的算法的重要组成部分包括快速标签传播,更本地化的本地搜索,初始分区,以及一个压缩的数据结构计算处理器的距离,而无需存储的距离矩阵。实验表明,我们的算法加快了整体的映射过程,由于集成的多级方法,在实践中也找到了更好的解决方案。例如,我们的算法的一个配置产生更好的解决方案比以前的国家的最先进的映射质量方面,同时是一个因素62更快。目前最快的迭代多级映射算法苏格兰相比,我们获得了16%的更好的解决方案,而投资略多的运行时间。
2020-01-22 cs.DC cs.DS
Scaling atomic ordering in shared memory
本文提出TRAM,一种基于覆盖树架构的共享内存原子多播协议,相比现有共享内存协议吞吐量提升3倍以上、延迟降低2.3倍以上,并大幅优于消息传递协议。
2025-09-09 cs.DC
SNEAP: A Fast and Efficient Toolchain for Mapping Large-Scale Spiking Neural Network onto NoC-based Neuromorphic Platform
脉冲神经网络(SNN)作为第三代人工神经网络,已被广泛应用于视觉和听觉任务。目前,许多神经形态平台支持SNN仿真,并采用片上网络(NoC)架构实现多核互连。然而,互联给平台带来了巨大的面积开销。此外,互连上的运行时通信对平台的总功耗和性能具有显著影响。在本文中,我们提出了一个名为SNEAP的工具链,用于将SNN映射到具有多核的神经形态平台,其目的是减少互连上的尖峰通信所带来的能量和延迟。SNEAP包括两个关键步骤:对SNN进行分区以减少分区之间通信的尖峰,以及将SNN的分区映射到NoC以在硬件资源的约束下减少尖峰的平均跳数。SNEAP可以减少NoC互连上的更多尖峰通信,并且在划分阶段花费的时间比其他工具链少。此外,SNEAP在一个时间段内减少了尖峰的平均跳数,这有效地降低了基于NoC的神经形态平台上的能量和延迟。实验结果表明,与SpiNeMap相比,SNEAP的端到端执行时间缩短了418倍,能耗和峰值延迟平均分别降低了23%和51%。
2020-03-31 cs.DC
Network Partitioning and Avoidable Contention
网络争用经常支配并行算法的运行时间并限制缩放性能。大多数以前的研究减轻或消除竞争,利用几种方法之一:通信最小化算法;热点避免路由方案;拓扑感知的任务映射;或提高全球网络的属性,如二分带宽,边扩展,分区,和网络直径。实际上,并行作业通常只使用主机系统的一小部分。处理器分配策略如何影响分区内的争用?我们利用网络图的边等周分析来确定网络分区是否具有最优的内部二分法。增加二等分允许更有效地使用网络资源,减少或完全消除链路争用。我们首先研究环面网络和分区的几何特征,最大限度地提高内部二分法带宽。我们研究了Mira和JUQUEEN的分配策略,这两个最大的公开访问的基于Blue Gene/Q torus的超级计算机。我们的分析表明,其当前分区的二分带宽通常可以通过改变分区的几何形状来提高。对于争用受限的工作负载,这些可以产生高达X2的加速比。基准测试实验验证了预测。我们的分析适用于其他网络的分配策略。
2020-05-28 cs.DC
Joint Task Partitioning and Parallel Scheduling in Device-Assisted Mobile Edge Networks
本文针对设备辅助移动边缘计算中任务划分与并行调度的联合优化问题,提出基于深度强化学习的OTPPS框架,并设计FDMTS算法解决NP-hard调度子问题,实现近最优延迟和高公平性。
2023-12-04 cs.DC
Time-Efficient and High-Quality Graph Partitioning for Graph Dynamic Scaling
分布式计算的动态扩展在弹性计算资源(如云)的利用中起着重要作用。它支持资源的配置和取消配置,以匹配动态的资源可用性和需求。在分布式图处理的情况下,改变图分区的数量,同时保持高分区质量强加了严重的计算开销,因为通常每次需要重新分区时都需要执行耗时的图分区算法。在本文中,我们提出了一个动态缩放方法,可以有效地改变图的分区数量,同时保持其质量高。我们的想法是基于两种技术:预处理和非常快速的边缘分割,称为图边缘排序和基于块的边缘分割,分别。前者将图数据转换为有序的边列表,使得具有高局部性的边彼此更接近。后者立即将有序边缘列表划分为任意数量的高质量分区。与现实世界的十亿规模的图的评估表明,我们提出的方法显着减少了重新分区的时间,而分区的质量,它达到了与现有的最好的静态方法。
2021-01-18 cs.DB cs.DC cs.DM
Optimized Partitioning and Priority Assignment of Real-Time Applications on Heterogeneous Platforms with Hardware Acceleration
硬件加速器,例如基于GPU和FPGA的硬件加速器,为高效并行化功能提供了绝佳的机会。最近,现代嵌入式平台开始配备此类加速器,从而为新兴的高度计算密集型工作负载(如下一代自动驾驶系统所需的工作负载)提供了令人信服的选择。除了对计算效率的需求之外,这种工作负载通常还具有实时的【形】要求,需要满足这些要求以保证系统的安全和正确行为。为此,本文提出了一个整体的框架,以帮助设计师分区实时的【形】应用程序在异构平台上的硬件加速器。该模型的灵感来自博世在WATERS 2019挑战赛中提出的先进驾驶辅助系统的现实设置,进一步推广到更广泛的异构架构。所得到的分析被线性化并用于编码优化问题,该优化问题共同(i)保证时序约束,(ii)找到合适的任务到核心的映射,(iii)为每个任务分配优先级,以及(iv)选择要加速的计算,在加速器提供的较小的最坏情况执行时间与同步和排队延迟之间寻求最方便的折衷。
2022-04-19 cs.DC
An Efficient Method of Partitioning High Volumes of Multidimensional Data for Parallel Clustering Algorithms
Centre for Development of Telematics(远程信息处理发展中心)
最优数据划分是并行和分布式实现聚类算法的必要计算,因为它确保独立的任务完成,公平分布,较少的受影响点的数量和更好和更快的合并。虽然使用Kd树的分区在学术界被常规地使用,但是随着数据维度的增加,它遭受性能下降和偏差(非均匀分布),因此不适合在维度可以是100到1000的数量级的工业中实际使用。为了解决这些问题,我们提出了两个新的分区技术,使用现有的数学模型和研究其可行性,性能(偏见和分区速度)和可能的变化,在选择初始种子。第一种方法使用基于n维散列网格的方法,该方法基于将空间中的点映射到散列点的一组立方体。第二种方法使用voronoi平面树,其中每个平面对应于一个分区。我们发现基于网格的方法在计算上是不切实际的,而使用voronoi平面的树(使用可扩展的K-Means++初始种子)随着维度的增加而大大优于Kd树方法。
2016-09-20 cs.AI cs.DC
Automated Deep Neural Network Inference Partitioning for Distributed Embedded Systems
本文提出一种基于图的硬件感知层调度框架,用于在分布式嵌入式系统中自动寻找DNN推理的最佳划分点,在满足内存和能耗约束下显著提升吞吐量与能效。
2024-10-11 cs.AR cs.DC
Distributed Graph Layout for Scalable Small-world Network Analysis
内存中的图形布局或组织对分布式内存图形计算的时间和能量效率具有相当大的影响。它影响内存局部性、任务间负载平衡、通信时间和整体内存利用率。图形布局可以指顶点和边数组的分区或复制、保存元数据的数据结构的选择性复制以及顶点和边标识符的重新排序。在这项工作中,我们提出了DGL,一个快速,并行和内存高效的分布式图形布局策略,是专门为小世界网络(低直径图与倾斜的顶点度分布)。基于标签传播的分区和可扩展的基于BFS的排序是布局策略中的主要步骤。我们表明,DGL布局可以显着提高五个具有挑战性的图分析工作负载的端到端性能:PageRank,一个并行子图枚举程序,调整实现的广度优先搜索和单源最短路径,和RDF 3X-MPI,一个分布式SPARQL查询处理引擎。使用这些基准测试,我们还提供了一个全面的分析,关于图布局如何影响具有可变计算和通信特性的图分析的性能。
2017-01-02 cs.DC
GPU-Accelerated Algorithms for Process Mapping
Heidelberg University(海德堡大学)
本文提出两种基于GPU的进程映射算法,通过分层多细分和多级图划分管道整合,实现高效的负载平衡与通信成本优化,具有显著的速度提升优势。
2026-03-13 cs.DC
Efficient Time-Aware Partitioning of Quantum Circuits for Distributed Quantum Computing
School of Information Technology Deakin University(迪肯大学信息技术学院);The University of Adelaide(阿德莱德大学)
本文提出基于束搜索的启发式算法,用于高效划分量子电路,以降低分布式量子计算中的通信开销,通过时间感知的方法优化qubit分配,降低通信成本。
2026-03-04 cs.DC quant-ph
Contention-Aware GPU Partitioning and Task-to-Partition Allocation for Real-Time Workloads
为了满足时间约束,现代实时的【形】应用需要大规模并行加速器,例如通用图形处理单元(GPGPU)。一代又一代,在新的GPU架构中可用的计算集群的数量正在稳步增加,因此,现在必须研究合适的调度方法。这样的调度方法涉及在GPU计算集群内映射不同的和并发的计算内核,因此将GPU计算集群分组到可并行的分区中。在本文中,我们提出了新的技术来定义GPU分区,这使我们能够定义合适的任务到分区的分配机制,其中任务是GPU计算内核具有不同的时序要求。这种机制将考虑GPU内核在重叠时间窗口中运行时所经历的干扰。因此,一个有效的和简单的方法来量化这种干扰的大小。我们证明了所提出的方法对经典技术,认为GPU作为一个单一的,不可分割的资源的效率。
2021-05-21 cs.DC cs.SY eess.SY
Framework for Application Mapping over Packet-Switched Network of FPGAs: Case Studies
今天的算法到硬件高级综合(HLS)工具旨在生产质量与手工设计相当的硬件,特别是用户指令驱动或特定领域的HLS。然而,当应用程序/算法需要扩展时,HLS工具并不容易配备。我们提出了一个(正在进行中的工作)半自动化的框架,映射应用程序的模块(单个FPGA)的分组交换网络,然后无缝分区这样的网络在多个FPGA上的准串行链路。我们通过三个应用案例研究来说明该框架:LDPC解码,基于粒子滤波的对象跟踪和GF(2)上的矩阵向量乘法。从每个案例应用程序的高级表示开始,我们首先用中间消息传递公式(通信处理元素的模型)表示它们。一旦确定了处理元素,这些元素要么是手工制作的,要么是使用HLS实现的。流程的其余部分是自动化的,其中处理元件被插入到可配置的片上网络(NETWORK-ON-CHIP)拓扑中,然后划分“片上”链路以跨芯片/FPGA无缝工作。
2015-08-27 cs.DC
Better Process Mapping and Sparse Quadratic Assignment
通信和拓扑感知进程映射是一种有效的方法,可以减少大型分布式内存系统上具有已知通信模式的并行应用程序的通信时间。我们解决的问题,作为一个二次分配问题(QAP),并提出算法来构建初始映射的进程处理器,快速局部搜索算法,以进一步提高映射。通过利用假设,通常持有的应用程序和现代超级计算机系统,如稀疏的通信模式和分层组织的通信系统,我们获得这些特殊的QAP更强大的算法。我们的多级构造算法采用完全平衡的图划分技术,并利用给定的通信系统层次结构的显着方式。我们对Brandfass等人(2013)的局部搜索算法进行了改进,并通过减少分配中执行交换所需的时间以及仔细约束局部搜索邻域来进一步减少运行时间。我们还研究了不同的算法来创建映射到处理器网络的通信图。实验表明,我们的算法不仅大大加快了局部搜索,但由于多级方法也找到更好的解决方案在实践中。
2019-07-22 cs.DC cs.DS
Map-and-Conquer: Energy-Efficient Mapping of Dynamic Neural Nets onto Heterogeneous MPSoCs
LAMIH/UMR CNRS, Université Polytechnique Hauts-de-France(法国上法兰西理工大学LAMIH/法国国家科学研究中心联合研究单位);University of California, Irvine(加州大学欧文分校)
异构MPSoC包括不同计算能力的不同处理单元。迄今为止,神经网络(NN)到这样的系统的映射策略尚未开发的处理并行性的全部潜力,通过内在NN的结构和底层硬件组成。在本文中,我们提出了一种新的框架,有效地映射到异构MPSoC的方式,使他们能够利用底层的处理并发神经网络。具体来说,我们的方法确定了最佳的分割方案的NN沿其“宽度”的维度,这有利于并发NN块部署到不同的硬件计算单元。此外,我们的方法有助于一个新的计划,部署分区NN到MPSoC作为动态多出口网络的额外的性能增益。我们在标准MPSoC平台上的实验已经产生了比仅GPU映射高2.1倍的能效的动态映射配置,同时比仅DLA映射少1.7倍的延迟。
2023-02-24 cs.AR cs.DC cs.LG
DiviML: A Module-based Heuristic for Mapping Neural Networks onto Heterogeneous Platforms
Cornell University(康奈尔大学)
本文提出DiviML框架,通过编译器级别自动划分与设备映射,将深度神经网络部署到异构硬件上,结合MILP精确求解与模块度启发式算法,在保证解质量的同时大幅降低运行时间并显著提升延迟和吞吐量性能。
2023-08-02 cs.DC cs.LG cs.SE