Efficient MoE Inference with Fine-Grained Scheduling of Disaggregated Expert Parallelism
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Hong Kong Baptist University(香港 Baptist 大学);The Hong Kong University of Science(香港科学与技术大学)
FinDEP通过细粒度任务调度优化disaggregated专家并行性,提升MoE推理吞吐量,实验显示在32-GPU系统上达到1.24倍速度提升。
2025-12-25 cs.AI cs.DC
Hetis: Serving LLMs in Heterogeneous GPU Clusters with Fine-grained and Dynamic Parallelism
Hetis通过细粒度动态并行和在线负载调度,在异构GPU集群中优化LLM服务,提升吞吐量2.25倍并降低延迟1.49倍。
2025-09-10 cs.DC
Optimizing Fine-Grained Parallelism Through Dynamic Load Balancing on Multi-Socket Many-Core Systems
针对GNU OpenMP在细粒度短任务上同步开销高的问题,提出XQueue无锁队列、分布式树屏障及两种NUMA感知无锁负载均衡策略,在BOTS基准测试中实现最高千倍级性能提升。
2025-03-19 cs.DC
Improving Strong-Scaling of CNN Training by Exploiting Finer-Grained Parallelism
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
扩展CNN训练对于跟上不断增长的数据集并减少训练时间是必要的。我们还看到了一个新的需求,即处理具有非常大样本的数据集,其中训练的内存需求很大。现有的训练框架使用一种数据并行方法,将样本划分为一个小批量,但对小批量大小和内存消耗的限制使得这对于大样本来说是站不住脚的。我们描述和实现新的卷积方法,使用空间分解或样本和空间分解的组合进行并行化。这为网络引入了许多性能旋钮,因此我们为CNN开发了一个性能模型,并提出了一种使用它来自动确定有效并行化策略的方法。我们评估我们的算法与微基准和图像分类与ResNet-50。我们的算法使我们能够原型模型的网格缠结数据集,其中样本量非常大。我们表明,我们的并行化实现了出色的强和弱缩放,并能够训练以前无法访问的数据集。
2019-03-15 cs.DC cs.LG
Efficient System-Enforced Deterministic Parallelism
确定性执行为调试、容错和安全性提供了许多好处。然而,确定性地运行并行程序通常是困难和昂贵的-特别是如果我们希望系统强制的确定性,确保任意错误或恶意软件的精确可重复性。Determinator是一个新颖的操作系统,它在多线程和多进程计算中强制执行确定性。Determinator的内核只提供单线程的、“无共享”的地址空间,通过确定性同步进行交互。不受信任的用户级运行时使用分布式计算技术来模拟熟悉的抽象,如Unix进程、文件系统和共享内存多线程。该系统在多核PC上和集群中的节点上确定性地运行并行应用程序。粗粒度的并行基准测试可以执行并扩展到常规系统,有时甚至比常规系统更好,尽管确定性对于细粒度的并行应用程序来说代价很高。
2010-05-19 cs.DC cs.OS
A Fast Causal Profiler for Task Parallel Programs
本文提出了TASKPROF,一个分析器,确定任务并行程序的并行性瓶颈。它利用任务并行执行的结构来执行细粒度的工作归属到程序的各个部分。TASKPROF使用硬件性能计数器来执行细粒度测量,从而最大限度地减少了干扰。TASKPROF的配置文件执行使用多核并行运行。TASKPROF的因果配置文件使用户能够估计在并行性的改进时,一个区域的代码进行了优化,即使具体的优化是未知的。我们使用TASKPROF隔离了23个使用英特尔线程构建模块库的应用程序中的并行性瓶颈。我们已经设计了并行化技术在五个应用程序中增加并行度的数量级使用TASKPROF。我们的用户研究表明,开发人员能够使用TASKPROF轻松隔离性能瓶颈。
2017-07-02 cs.DC cs.PL
OptPipe: Memory- and Scheduling-Optimized Pipeline Parallelism for LLM Training
Shanghai University of Finance and Economics(上海金融学院);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
本文提出OptPipe,一种将流水线调度建模为受约束优化问题的方法,联合考虑内存容量、激活重用与气泡最小化,在严格内存预算下减少流水线空闲时间,提升吞吐量并支持更大模型训练。
2025-10-06 cs.AI cs.DC math.OC
Learning to Shard: RL for Co-optimizing the Parallelism Degrees and Per-operator Sharding Dimensions in Distributed LLM Inference
Yale University(耶鲁大学);Microsoft Azure(微软Azure)
针对分布式LLM推理现有静态并行策略性能不足的问题,提出基于RL的Learn to Shard方法,通过注意力策略从精英历史策略中学习,协同优化并行度与逐算子切分维度,在H100集群上实现显著吞吐量提升。
2025-08-29 cs.DC cs.LG
Faabric: Fine-Grained Distribution of Scientific Workloads in the Cloud
由于其高度并行性和资源需求,许多科学应用程序都受益于云部署。如今,科学应用程序在专用的虚拟机池上执行,导致资源碎片化:用户为未充分利用的资源付费,而提供商无法在应用程序之间重新分配未使用的资源。虽然无服务器云计算可以解决这些问题,但其编程模型与科学应用程序中共享内存和消息传递的使用不兼容:无服务器函数在动态调度函数时不直接在同一VM上共享内存或支持消息传递语义。我们描述了Faabric,一个新的无服务器云运行时,透明地分发应用程序与共享内存和消息传递跨虚拟机。Faabric通过一种称为Granules的新执行抽象,以细粒度(线程/进程)的方式调度计算来实现这一点。为了支持共享内存,Granules使用WebAssembly隔离,但直接共享内存;为了支持消息传递,Granules提供异步点对点通信。Faabric调度Granules以满足应用程序的并行性需求。它还将更改同步到Granule的共享内存,并迁移Granule以提高局部性。
2023-02-22 cs.DC cs.OS
Taskgraph: A Low Contention OpenMP Tasking Framework
OpenMP是高性能计算(HPC)中共享内存系统的事实标准。它包括一个基于任务的模型,提供了一个高层次的抽象,以简单灵活的方式有效地利用高度动态的结构化和非结构化并行。不幸的是,在大多数常见的OpenMP框架中,管理任务所引入的运行时开销(非常)高(例如,GCC,LLVM),这就破坏了任务模型的潜在优势,使其只适合于粗粒度的任务。本文介绍了taskgraph,一个框架,使用任务依赖图(TDG)来表示使用OpenMP任务实现的代码区域,以减少与任务管理相关的运行时开销,即,竞争和并行编排,包括任务创建和同步。TDG避免了与任务依赖性的解析相关的开销,并且极大地减少了来自对共享资源的访问的开销。此外,taskgraph框架在OpenMP中引入了记录和重放执行模型,该模型从第二次执行开始加速taskgraph区域。总的来说,本文中提出的多种优化允许利用细粒度的OpenMP任务,以应对当前应用程序中的趋势,以利用大规模的节点上的并行性,细粒度和动态调度范例。该框架在LLVM 15.0上实现。结果表明,taskgraph实现优于香草的OpenMP系统的性能和可扩展性方面,所有结构化和非结构化的并行性,并考虑粗粒度和细粒度的任务。此外,所提出的框架大大减少了OpenMP的任务和线程模型之间的性能差距。
2022-12-09 cs.DC
Fine-Grained Energy Prediction For Parallellized LLM Inference With PIE-P
Stony Brook University(石溪大学);IBM Research(IBM研究院)
PIE-P是一种针对多GPU并行LLM推理的细粒度能耗预测框架,通过精确建模和采样解决通信非确定性和开销问题,实现高精度能耗预测。
2025-12-14 cs.DC cs.PF
Diving into 3D Parallelism with Heterogeneous Spot Instance GPUs: Design and Implications
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与产业研究院)
AutoHet通过自动优化异构GPU的3D并行计划,实现分布式训练的高效性和恢复速度提升。
2025-12-24 cs.DC cs.NI
gLLM: Global Balanced Pipeline Parallelism System for Distributed LLM Serving with Token Throttling
提出gLLM全局均衡流水线并行系统,通过Token Throttling机制独立调节预填充和解码token数量,结合异步执行架构,有效缓解流水线气泡,实现11%至398%的最大吞吐量提升并保持低延迟。
2025-05-28 cs.DC
From Task-Based GPU Work Aggregation to Stellar Mergers: Turning Fine-Grained CPU Tasks into Portable GPU Kernels
同时满足可扩展性和性能可移植性要求对于任何HPC应用程序都是一个挑战,特别是对于自适应改进的应用程序。在用于模拟恒星合并的天体物理学应用程序Tiger-Tiger中,我们使用现有的解决方案来实现这一点:我们使用HPX来获得细粒度的任务,以轻松分配工作并精细地重叠通信和计算。对于计算本身,我们使用Kokkos将这些任务转换为能够在从几个CPU内核到强大加速器的硬件上运行的计算内核。然而,有一个缺失的环节:虽然HPX暴露的细粒度并行性对可扩展性很有用,但当任务变得太小而无法使设备饱和时,它可能会阻碍GPU性能,从而导致资源利用率低下。为了弥补这一差距,我们调查了Tiger中多种不同的GPU工作聚合策略,添加了一种新策略,并评估了节点级性能对最新AMD和NVIDIA GPU的影响,实现了明显的加速。
2023-03-04 cs.DC
Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters
Seoul National University(首尔大学);Samsung Electronics(三星电子)
针对真实集群中3D并行LLM训练配置忽视互连异构性和内存约束的问题,提出Pipette,通过改进性能模型、内存估计和细粒度GPU分配,实现满足内存约束的更快配置并显著加速。
2024-05-28 cs.DC cs.LG
SWIFT: Using task-based parallelism, fully asynchronous communication, and graph partition-based domain decomposition for strong scaling on more than 100,000 cores
我们提出了一个新的开源宇宙学代码,称为SWIFT,旨在解决流体动力学方程,使用基于粒子的方法(光滑粒子流体动力学)的混合共享/分布式内存架构。SWIFT自自底向上的的设计旨在为商用集群(Tier-2系统)和Top100超级计算机(Tier-0系统)提供出色的强大扩展能力,而无需依赖特定于架构的功能或专用加速器硬件。这种性能是由于三种主要的计算方法:(1)基于任务的共享内存并行,它提供了细粒度的负载均衡,从而在大量的核心强大的伸缩性。(2)基于图的域分解,它使用任务图来分解仿真域,以便工作(而不仅仅是数据)在所有节点上均匀分布,而大多数分区方案都是如此。(3)完全动态和异步通信,其中通信被建模为基于任务的方案中的另一个任务,只要准备好就发送数据,并推迟依赖于来自其他节点的数据的任务,直到它到达。为了使用这些方法,代码必须从头开始重写,其中的算法必须适应基于任务的范式。因此,在基于x86和基于Power8的架构上,当核心数量增加512倍时,我们可以显示出60%以上的并行效率。
2016-06-08 astro-ph.IM cs.DC
Fine-Grained Parallel Graph Algorithms Can Be Both Fast and Scalable
University of Chicago(芝加哥大学);University of Purdue(普渡大学)
针对大规模图问题缺乏并行架构支持,提出细粒度图架构UpDown,通过PR和BFS基准评估,实现远超现有最佳结果的性能。
2026-10-20 cs.AR cs.DC
Mist: Efficient Distributed Training of Large Language Models via Memory-Parallelism Co-Optimization
University of Toronto(多伦多大学);Vector Institute(向量研究所);CentML(森特ML公司)
提出Mist自动分布式训练系统,通过内存-并行度协同优化、重叠感知调度和分层调优,显著提升大语言模型训练效率,平均加速1.28倍和1.27倍。
2025-03-24 cs.AI cs.DC
Scalable Fine-Grained Parallel Cycle Enumeration Algorithms
枚举简单循环在计算生物学、网络科学和金融犯罪分析中有重要的应用。在这项工作中,我们专注于并行化的国家的最先进的简单的循环枚举算法的约翰逊和读取Tarjan以及他们的应用程序的时间图。据我们所知,我们是第一个以细粒度方式并行这两个算法的人。我们也是第一个实验证明线性性能缩放。这种扩展是通过我们将长顺序搜索分解为细粒度任务而实现的,然后在CPU内核之间动态调度这些任务,从而实现最佳的负载均衡。此外,我们表明,粗粒度的并行版本的约翰逊和读取Tarjan算法,利用边缘或顶点级并行是不可扩展的。在一个集群的四个多核CPU与$256$物理核心,我们的细粒度的并行算法,平均来说,一个数量级的速度比他们的粗粒度的并行同行。细粒度和粗粒度并行算法之间的性能差距随着我们使用更多的CPU内核而扩大。当使用所有256个CPU内核时,我们的并行算法枚举时间周期,平均而言,$260\times$比Kumar和Calders的串行算法快。
2022-05-31 cs.DC cs.DS
Automatic Operator-level Parallelism Planning for Distributed Deep Learning -- A Mixed-Integer Programming Approach
本文提出一种基于混合整数规划的算子级自动并行规划方法,通过双层求解框架兼顾最优性与计算效率,在相同内存约束下将计算气泡减少一半,性能达到或超越 DeepSeek DualPipe 等专家策略。
2025-03-12 cs.AI cs.DC cs.DM
Charon: A Unified and Fine-Grained Simulator for Large-Scale LLM Training and Inference
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出Charon模拟器,通过统一、模块化和细粒度的方法,准确预测大语言模型性能,实验显示其在不同模型和配置上具有高精度,预测误差低于5.35%,并在实际推理部署中发现提升系统吞吐量的配置,展示了其实际价值。
2026-05-19 cs.AI cs.DC cs.LG
Analytical Resource Management for Fine-grained MoE Computation-Communication Overlap
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学);Linnaeus University(林奈大学)
针对分布式MoE推理中的细粒度计算-通信重叠,提出波量化解析模型和启动时资源管理器,动态选择通信CTA数量和资源分区,在A100上实现最高4.2倍加速。
2026-09-09 cs.DC
Accelerating Latency-Critical Applications with AI-Powered Semi-Automatic Fine-Grained Parallelization on SMT Processors
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
针对延迟关键型应用在SMT处理器上功能单元利用率低、难利用SMT并行的问题,提出AI驱动的并行化顾问Aira,结合Relic框架实现细粒度并行,带来17%的几何平均性能提升。
2025-08-31 cs.AI cs.DC
Performance optimization and modeling of fine-grained irregular communication in UPC
UPC程序设计语言通过逻辑分区的共享存储器提供并行性,共享存储器通常跨越物理上不相交的存储器子系统。UPC的一个方便的特性是它能够自动执行线程间数据移动,这样共享数据数组的整个内容看起来可以由所有线程自由访问。然而,程序员的友好性可能以大量的性能损失为代价。在间接索引共享数组的元素时尤其如此,因为线程间的数据通信可能是不规则的,并且具有细粒度模式。在本文中,我们研究的性能增强策略,专门针对这种细粒度的不规则通信UPC。从显式线程私有化开始,继续进行块通信,并到达消息压缩和合并,我们获得了相当大的性能改进的UPC程序,原来需要细粒度的不规则通信。除了性能增强策略,本文的主要贡献是提出性能模型的不同情况下,在形式的量化公式,取决于各种数据移动的实际量加上少量的容易获得的硬件特性参数。这些性能模型有助于验证所获得的增强功能,同时还提供了类似并行实现的有见地的预测,不限于UPC,也涉及线程间或进程间的不规则通信。作为进一步的验证,我们还将我们的性能建模方法和硬件特征参数应用到现有的UPC代码中,用于在均匀网格上求解二维热方程。
2019-12-29 cs.DC cs.PF
CRAFT: Fine-Grained Cost-Aware Expert Replication For Efficient Mixture-of-Experts Serving
NVIDIA Corporation(英伟达公司)
提出CRAFT框架,通过基于估计收益的细粒度逐层复制,在给定内存预算下最大化负载均衡,无需额外训练即可提升大规模MoE服务吞吐量。
2026-05-29 cs.DC cs.LG
Towards a Scalable and Distributed Infrastructure for Deep Learning Applications
Center of Computation & Technology(计算与技术中心);Louisiana State University(路易斯安那州立大学);Microsoft Research Montréal(微软研究院蒙特利尔分院)
虽然最近的扩展方法训练深度神经网络已被证明是有效的,但大型复杂模型的计算强度以及大规模数据集的可用性要求深度学习框架利用扩展技术。目前大多数分布式深度学习框架的初步设计都没有考虑节点化方法和分布需求,大多数框架仍然无法进行有效、高效的细粒度节点间通信。我们目前Phylanx有可能减轻这些缺点。Phylanx提供了一个面向生产力的前端,用户Python代码被转换为未来的执行树,可以使用C++并行和并发标准库(HPX)在多个节点上高效执行,利用细粒度线程和基于主动消息传递任务的运行时系统。
2021-04-20 cs.DC cs.LG
Entwine: Coordinating Tiled Computation and Fine-Grained Communication across GPUs
State Key Laboratory of Cyberspace Security Defense(网络空间安全防御国家重点实验室);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Microelectronics, Chinese Academy of Sciences(中国科学院微电子研究所)
Entwine通过协调分块计算顺序、细粒度通信和SM资源分配,实现GPU间计算与通信的高效重叠,在张量并行LLM负载上相比cuBLAS+NCCL取得1.232倍几何平均加速。
2026-09-11 cs.AR cs.DC
RECEIPT: REfine CoarsE-grained IndePendent Tasks for Parallel Tip decomposition of Bipartite Graphs
Tip分解是二分网络中稠密子图挖掘的核心,在垃圾邮件检测、关联网络分析等方面有着广泛的应用。Tip分解创建了一个层次结构,由蝴蝶(2,2-bicliques)中顶点的参与度决定了顶点诱导子图的密度。为了构建层次结构,现有的算法迭代地遵循删除更新(剥离)过程:删除蝴蝶数量最少的顶点,并相应地更新其2跳邻居的蝴蝶计数。探索2跳邻域的需要使得尖端分解在计算上非常昂贵。此外,在剥离最小的蝴蝶顶点的固有顺序性,使派生的并行算法容易沉重的同步。在本文中,我们提出了一种新的并行tip分解算法-- REfine CoarsE-grained Independent Tasks(RECEIPT),通过将顶点划分为多个独立的子集,可以同时剥离,放松了剥离顺序的限制。这使得RECEIPT能够同时实现高度并行性和同步的显著减少。此外,RECEIPT采用了混合剥离策略以及其他优化,大大减少了楔形探测和执行时间。我们进行详细的实验评估共享内存多核服务器上的RECEIPT。它可以比最先进的算法更快地处理一些最大的公开可用的二分数据集-分别实现线程同步和遍历wedge数量的1100倍和64倍减少。使用36个线程,RECEIPT可以提供高达17.1倍的自相关加速。我们的RECEIPT实现可以在https://github.com/kartiklakhotia/RECEIPT上找到。
2020-10-17 cs.DC
Accelerating Mobile Inference through Fine-Grained CPU-GPU Co-Execution
University of Southern California(南加州大学)
本文提出利用细粒度CPU-GPU协同执行机制,通过轻量级同步机制和机器学习模型提升移动设备推理速度,实现线性层和卷积层的加速效果
2026-02-18 cs.DC cs.LG cs.PF
tf-Darshan: Understanding Fine-grained I/O Performance in Machine Learning Workloads
近年来,HPC系统上的机器学习应用越来越流行。即将到来的大规模系统将通过GPU为训练提供巨大的并行性。然而,机器学习的另一个重要方面是I/O,这可能是一个性能瓶颈。TensorFlow是最受欢迎的深度学习平台之一,现在提供了一个新的分析器接口,并允许对TensorFlow操作进行仪表化。但是,当前的分析器仅支持TensorFlow平台级别的分析,不提供系统级别的信息。在本文中,我们扩展了TensorFlow Profiler,并引入了tf-Darshan,这是一个分析器和跟踪器,它通过Darshan执行检测。我们使用相同的Darshan共享工具库,并在不使用系统预加载的情况下实现运行时附件。我们可以在TensorFlow执行期间提取Darshan profiling数据结构,以通过TensorFlow profiler进行分析。我们通过基于Web的TensorFlow可视化工具TensorBoard可视化性能结果。同时,我们不改变Darshan现有的实现。我们通过对ImageNet图像和恶意软件分类进行两个案例研究来说明tf-Darshan。我们表明,通过使用tf-Darshan的数据指导优化,我们通过选择在快速层存储上进行分级的数据,将POSIX I/O带宽提高了19%。我们还表明,Darshan有潜力被用作一个运行时库,用于分析和提供信息,为未来的优化。
2020-08-12 cs.DC
Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM
本文提出将 LLM 训练分解为算子级原语、结合轻量采样硬件模型与端到端集成的 GPU 性能预测框架,在两套 HPC 系统上实现低误差且无需占用集群。
2025-09-26 cs.AI cs.DC cs.LG
Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)数据科学与分析学域);Huawei Technologies Ltd.(华为技术有限公司)
提出解耦强化学习框架DigenRL,通过生成轴流水线、时间步并行和弹性训练器辅助生成,解决扩散生成式大语言模型中执行气泡问题,实现1.56-2.10倍吞吐提升。
2026-09-23 cs.AI cs.DC cs.NI
MOLT: A Fine-Grained GPU Memory Sharing System for LLM Serving with Opportunistic Fine-Tuning
Seoul National University(首尔大学)
MOLT提出细粒度内存共享,让推理回收微调步骤中单个激活的内存,反向传播重算,在保持SLO达标率≥99.7%的同时,完成1.9-3.3倍微调工作量。
2026-10-06 cs.DC
Shared Memory-Aware Latency-Sensitive Message Aggregation for Fine-Grained Communication
本研究针对HPC中细粒度通信,提出共享内存感知的消息聚合方案,以降低消息开销和延迟,并通过代理应用验证其有效性。
2024-11-05 cs.DC
Hybrid-Parallel: Achieving High Performance and Energy Efficient Distributed Inference on Robots
The University of Hong Kong(香港大学);Peng Cheng Laboratory(鹏城实验室);Huazhong University of Science and Technology(华中科技大学)
针对机器人IoT带宽受限导致现有并行推理方法延迟高且能耗大的问题,提出高性能分布式推理系统Hybrid-Parallel,通过DNN层内局部算子粒度并行计算与传输重叠,显著降低推理时间与能耗。
2024-05-29 cs.DC cs.RO
Fine-Grained Vectorized Merge Sorting on RISC-V: From Register to Cache
本文提出细粒度 RISC-V 向量化归并排序 RVMS,通过以寄存器数据代理数据混洗加速转置、用标量比较替代向量化比较,并提出半归并方案和非对称归并网络,解决从寄存器到缓存层面的归并排序性能瓶颈。
2024-10-01 cs.DC
Xema: Efficient Diffusion Serving through Fine-Grained Memory Management and Auto-Configuration
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
研究针对扩散模型服务受GPU内存限制问题,提出Xema系统,通过细粒度内存管理和自动配置,利用可预测张量生命周期优化内存,引入离线规划器联合选择参数,实现高效扩散服务,相比现有配置提升SLO达成率并降低规划成本。
2026-07-14 cs.DC
MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training
Peking University(北京大学);Tencent Inc.(腾讯公司)
针对超长上下文LLM训练中GPU显存不足、碎片化严重及MFU低的问题,提出MEMO框架,通过细粒度激活卸载、逐令牌重计算与双层MIP显存复用优化,实现高MFU的百万级长序列7B模型训练。
2025-01-15 cs.DC cs.LG
GRE: A Graph Runtime Engine for Large-Scale Distributed Graph-Parallel Applications
大规模分布式图并行计算是一个挑战。一方面,由于计算模式的不规则性和局部性的缺乏,很难有效地表示并行性。另一方面,由于无标度性质,现实世界的图很难在低割下平衡划分。为了应对这些挑战,最近开发了几个图形并行框架,包括Pregel和GraphLab(PowerGraph)。在本文中,我们提出了一个替代框架,图形搜索引擎(GRE)。GRE在保留顶点中心编程模型的基础上,提出了两个新的抽象:1)基于主动消息的Scatter-Combine计算模型,以实现大规模的细粒度边级并行; 2)基于顶点分解的Agent-Graph数据模型,以划分和表示有向图。GRE是在商用现成的多核集群上实现的。我们实验评估GRE与三个基准程序(PageRank,单源最短路径和连接组件)在现实世界和合成图的亿万个顶点。与PowerGraph相比,GRE在8~16台机器(192核)上的性能提高了2.5~17倍。具体来说,GRE中的PageRank与公开文献中报道的其他框架(PowerGraph,Spark,Twister)相比是最快的。此外,GRE显著地优化了内存使用,因此它可以在我们的集群上处理10亿个顶点和170亿条边的大型图形,总共768GB内存,而PowerGraph只能处理不到一半的图形规模。
2013-10-21 cs.DC
T3: Transparent Tracking & Triggering for Fine-grained Overlap of Compute & Collectives
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Advanced Micro Devices, Inc.(超威半导体公司)
针对分布式大模型中张量并行等技术的串行通信开销及软件细粒度交错的资源争用问题,提出软硬件协同的T3机制,通过地址空间配置、硬件跟踪触发与计算增强内存实现通信计算高效重叠,显著提升大模型通信密集子层性能。
2024-01-30 cs.AR cs.DC cs.LG
A Scalable Actor-based Programming System for PGAS Runtimes
PGAS模型非常适合在基于集群的系统上执行不规则的应用程序,因为它有效地支持短的、单侧的消息。然而,PGAS应用目前面临两个主要限制。第一个与可扩展性有关:尽管在特殊情况下支持非阻塞操作的API可用,但远程位置上的许多PGAS操作默认情况下是同步的,这可能导致长延迟和可扩展性差。第二个与生产力有关:虽然对于开发人员来说,以应用程序自然的细粒度表达所有通信更简单,但实验表明,这种自然表达的性能比更高效但生产力较低的代码慢20倍,需要手动消息聚合和终止检测。在本文中,我们介绍了一个新的编程系统的PGAS应用程序,其中点对点的远程操作可以表示为细粒度的异步演员消息。在这种方法中,程序员不需要担心与消息聚合和终止检测相关的编程复杂性。我们的方法也可以被看作是扩展经典的批量同步并行模型与细粒度的异步通信在一个阶段或超步。我们相信,我们的方法提供了一个理想的点,在生产力性能空间的PGAS应用程序,具有更多的可扩展性能和更高的生产力相对于过去的方法。具体来说,对于在NERSC Cori系统中使用2048个内核执行的Bale基准套件中的7个不规则迷你应用程序,我们的方法显示出相对于标准PGAS版本(UPC和OpenSHMEM)的几何平均性能提高>= 20倍,同时保持与这些版本相当的生产力。
2022-06-18 cs.DC
Weave: Fine-Grained Dynamic SM Scheduling in an MoE Megakernel for Compute-Communication Overlap
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
针对专家并行下 MoE 推理的通信开销,Weave 提出在持久兆内核中按层按 GPU 动态调度 SM,实现计算-通信重叠,显著提升性能。
2026-09-28 cs.DC
Overcoming Latency-bound Limitations of Distributed Graph Algorithms using the HPX Runtime System
Louisiana State University(路易斯安那州立大学);University of Washington(华盛顿大学)
本文利用HPX运行时系统开发了高效的分布式图算法原型,通过异步执行和细粒度并行性显著提升了性能,克服了传统框架的延迟限制。
2026-03-04 cs.DC
Code modernization strategies for short-range non-bonded molecular dynamics simulations
针对现代HPC硬件特性,对ESPResSo++分子动力学模拟包进行代码现代化改造,通过数据布局优化、向量化及基于HPX的细粒度并行实现了显著性能提升。
2023-06-15 cs.DC physics.comp-ph
Automatic Detection of Performance Anomalies in Task-Parallel Programs
为了有效地利用新的众核架构的资源,每个芯片集成数十个甚至数百个核,并行编程模型已经发展到暴露大量的并行性,通常以细粒度任务的形式。任务并行语言,如OpenStream、X10、Habanero Java和C或StarSs,简化了新体系结构的应用程序开发,但调优任务并行应用程序仍然是一个重大挑战。性能瓶颈可能发生在实现的任何级别,从算法级别(例如,缺乏并行性或过同步),与操作和运行时系统的交互(例如,NUMA体系结构上的数据放置),到硬件的低效使用(例如,频繁的高速缓存未命中或未对准的存储器访问);检测这样的问题并确定确切的原因是一项困难的任务。在以前的工作中,我们开发了Aftermath,一个基于跟踪的性能分析和调试的任务并行程序和运行时系统的交互式工具。与其他基于跟踪的分析工具(如Paraver或Vampir)相比,Aftermath提供了对任务的本地支持,即,适用于任务粒度性能调试的可视化、统计和分析工具。然而,该工具目前不提供对性能瓶颈的自动检测的支持,并且由用户通过将检查集中在跟踪文件的特定切片上来调查程序执行的相关方面。在本文中,我们目前正在进行的工作,指导用户通过这个过程中的两个扩展。
2014-05-12 cs.DC cs.PF cs.SE