Performance Analysis of a Quantum Monte Carlo Application on Multiple Hardware Architectures Using the HPX Runtime
本文介绍了我们如何成功地使用HPX编程模型将DCA++应用程序移植到包括POWER 9、x86、ARM v8和NVIDIA GPU在内的多种架构上。我们描述了我们可以从这一经验中学到的教训,以及在应用程序中启用HPX以改进代码的CPU线程部分的好处,这导致了跨架构的总体21%的改进。我们还描述了如何使用HPX-APEX来提高抽象级别,以了解性能问题并识别代码中的任务优化机会,以及这些如何与CPU/GPU利用率计数器,随时间推移的设备内存分配以及给定架构上的CPU内核级上下文切换相关。
2020-10-19 cond-mat.mtrl-sci cond-mat.str-el cond-mat.supr-con
ARCAS: Adaptive Runtime System for Chiplet-Aware Scheduling
针对 chiplet CPU 分区 L3 缓存导致的 NUMA 内延迟与带宽差异,本文提出 ARCAS 运行时,通过 chiplet 感知调度、硬件感知分配、细粒度监控及轻量级并发迁移机制优化内存密集型并行应用性能。
2025-03-14 cs.AR cs.DC cs.PF
Efficient Compilation to Event-Driven Task Programs
正如一类新语言和运行时的出现所说明的那样,预计在超大规模计算机上运行的大部分程序将需要编写为事件驱动任务(EDT)的图形。EDT运行时系统调度这样的任务集合,通过减少任务间同步的量、改进动态负载均衡并使更多操作异步,从而实现比传统运行时更多的并发性。我们提出了一种有效的技术,从程序的多面体表示生成这样的任务图,无论是在编译时间和渐近执行时间。任务依赖性以不同的形式具体化,这取决于目标运行时可用的同步模型。我们探讨了使用每种同步模型编程EDT的不同方法,并确定了与之相关的重要开销来源。我们评估这些编程方案的成本,它们所带来的顺序启动,飞行中的任务管理,用于同步对象的空间,和这些对象的垃圾回收。虽然我们的实现和评估发生在多面体编译器,提出的开销成本分析是有用的自动代码生成的更一般的上下文中。
2016-01-06 cs.DC
Optimizing OpenFaaS on Kubernetes: Comparative Analysis of Language Runtimes and Cluster Distributions
Department of Computer Engineering, University of Mazandaran(马赞德兰大学计算机工程系)
本文比较了不同Kubernetes集群和语言运行时对OpenFaaS性能的影响,发现Go语言在吞吐量和CPU使用上表现最佳,K3s和Kubeadm集群性能突出。
2026-10-30 cs.DC cs.PF cs.SE
Distributed, combined CPU and GPU profiling within HPX using APEX
跨硬件平台对科学仿真的性能进行基准测试和比较是一项复杂的任务。当所讨论的模拟使用异步多任务(AMT)运行时将工作卸载到GPU时,任务变得更加复杂。在本文中,我们讨论了使用一个独特的适合的性能测量库,APEX,捕捉性能行为的模拟建立在HPX,一个高度可扩展的,分布式AMT运行时。我们研究的天体物理学模拟的性能进行了两种不同的超级计算架构的Tiger。我们分析了缩放和测量开销的结果。此外,我们深入研究了两个系统上两个配置相似的执行,以研究架构差异如何影响性能,并确定优化的机会。作为一个这样的机会,我们优化了水力求解器的通信,并研究了其性能影响。
2022-09-21 cs.DC
RIMMS: Runtime Integrated Memory Management System for Heterogeneous Computing
本文提出硬件无关的运行时内存管理层 RIMMS,自动跟踪位置、维护一致性并分配异构内存,在 CPU+GPU/FPGA 雷达应用中最高取得 3.08 倍加速且开销极低。
2025-07-28 cs.DC
A Fine-Grained Hybrid CPU-GPU Algorithm for Betweenness Centrality Computations
介数中心性(BC)是大规模图的一个重要的图分析应用。虽然有许多努力在多核CPU和众核GPU上并行化介数中心算法,在这项工作中,我们提出了一种新的细粒度CPU-GPU混合算法,将图形划分为CPU和GPU分区,并同时在CPU和GPU资源上执行BC计算,同时具有非常少量的CPU-GPU通信。在我们的混合BC算法的正向阶段利用BC问题中固有的多源属性。我们还执行了一个新的混合和异步向后阶段,执行最小的CPU-GPU同步。使用大量具有不同特征的图进行的评估表明,我们的混合方法比基于流行的批量同步范式(BSP)方法的现有混合算法在性能上提高了80%,并且CPU-GPU通信减少了80 - 90%。
2020-08-13 cs.DC
Model Accuracy and Runtime Tradeoff in Distributed Deep Learning:A Systematic Study
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Weill Cornell Medical College(威尔康奈尔医学院)
本文介绍了Rudra,一个基于参数服务器的分布式计算框架,用于训练大规模深度神经网络。使用异步随机梯度下降算法的变体,我们研究了同步协议,陈旧的梯度更新,minibatch大小,学习率和学习器数量对运行时性能和模型精度的影响。我们引入了一种新的学习率调制策略来对抗陈旧梯度的影响,并提出了一种新的同步协议,可以有效地约束梯度中的陈旧性,提高运行时性能,并实现良好的模型精度。我们的实证研究揭示了一个原则性的方法分布式训练的神经网络:每个学习者的小批量大小应减少更多的学习者添加到系统中,以保持模型的准确性。我们使用常用的图像分类基准:CIFAR10和ImageNet来验证这种方法。
2016-12-05 cs.DC cs.LG cs.NE
Towards an Adaptive Runtime System for Cloud-Native HPC
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Thomas J. Watson Research Center(IBM 托马斯·J·沃森研究中心)
本文提出基于Charm++的自适应运行时系统,通过异步消息驱动模型解决云环境下的HPC应用效率与容错问题,实现高效、可靠且经济的云上性能。
2026-03-15 cs.DC
Accelerating Mobile Inference through Fine-Grained CPU-GPU Co-Execution
University of Southern California(南加州大学)
本文提出利用细粒度CPU-GPU协同执行机制,通过轻量级同步机制和机器学习模型提升移动设备推理速度,实现线性层和卷积层的加速效果
2026-02-18 cs.DC cs.LG cs.PF
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University(布朗大学)
研究异构人工智能工作负载的调度问题,提出将设备调度制定为三种选项,识别影响延迟的因素,构建智能调度器,该调度器在多种场景下达到最优映射,精度与经典基线匹配且无需离线训练,性能优于其他策略。
2026-07-27 cs.DC
BDDT-SCC: A Task-parallel Runtime for Non Cache-Coherent Multicores
本文介绍了BDDT-SCC,一个非缓存一致性多核处理器的任务并行运行时系统,实现了英特尔单芯片云计算机。BDDT-SCC运行时包括动态依赖分析和自动同步,并在非缓存一致性架构上执行OpenMP-Ss任务。我们设计了一个运行时,使用快速的片上内核间通信与小消息。同时,我们使用非一致性共享内存来避免大量的核到核数据传输,这将导致大量不必要的复制。我们评估BDDT-SCC的一组代表性的基准,在任务的粒度,局部性和通信。我们发现,内存的局部性和分配在性能中起着非常重要的作用,SCC内存控制器的体系结构可以产生强烈的竞争效应。我们建议的模式,提高内存局部性,从而提高应用程序的性能,并衡量其影响。
2016-06-14 cs.DC cs.PL
ChASE -- A Distributed Hybrid CPU-GPU Eigensolver for Large-scale Hermitian Eigenvalue Problems
随着现代大规模并行集群越来越大,计算节点越来越强,传统的并行特征值求解器(如直接求解器)很难跟上硬件发展的步伐,并且由于额外的通信和同步层而能够有效地扩展。当将传统库移植到配备加速器的异构计算架构(如图形处理单元(GPU))时,这种困难尤为重要。最近,有显着的科学贡献的发展,基于滤波器的子空间本征求解器计算部分本征谱。这些类型的算法的结构更简单,使他们更容易避免通信和同步瓶颈的直接求解器的典型。Chebyshev Accelerated Subspace Eigensolver(ChASE)是一种基于Chebyshev多项式的滤波器加速的现代子空间特征值求解器,用于计算大规模Hermitian特征值问题的部分极值特征对。在这项工作中,我们扩展了我们以前的工作ChASE增加支持分布式混合CPU多GPU计算架构。我们的测试表明,ChASE在最大为$360$ k的密集本征问题上实现了非常好的扩展性能,最大可扩展到144个节点,总共526个NVIDIA A100 GPU。
2022-05-05 cs.DC cs.MS cs.PF
GraphVite: A High-Performance CPU-GPU Hybrid System for Node Embedding
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Tsinghua University(清华大学);HEC Montréal(蒙特利尔高等商学院)
最近,学习节点的连续表示吸引了学术界和工业界越来越多的兴趣,由于其在各种应用中的简单性和有效性。现有的节点嵌入算法和系统大多能够处理具有数十万或数百万节点的网络。然而,如何将它们扩展到具有数千万甚至数亿个节点的网络仍然是一个具有挑战性的问题。在本文中,我们提出了GraphVite,一个高性能的CPU-GPU混合系统的训练节点嵌入,通过共同优化的算法和系统。在CPU端,增强的边缘样本通过随机游走以在线方式在网络上并行生成,并用作训练数据。在GPU端,提出了一种新的并行负采样方法,利用多个GPU同时训练节点嵌入,无需大量的数据传输和同步。此外,提出了一种有效的协作策略,以进一步降低CPU和GPU之间的同步成本。在多个真实网络上的实验表明,GraphVite是超级高效的。对于一个拥有100万个节点和500万条边的网络,在一台拥有4个GPU的机器上只需要大约1分钟,而对于一个拥有6600万个节点和18亿条边的网络,则需要大约20小时。与目前最快的系统相比,GraphVite的速度快了约50倍,而性能没有任何损失。
2019-03-02 cs.DC cs.LG stat.ML
Rethinking Inter-Process Communication with Memory Operation Offloading
Georgia Institute of Technology(佐治亚理工学院);Meta;University of Illinois–Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出统一的IPC运行时套件,通过整合硬件和软件内存卸载技术,提升共享内存通信的效率与性能。
2026-01-09 cs.DC cs.OS
Accelerating Monte-Carlo Tree Search on CPU-FPGA Heterogeneous Platform
蒙特卡罗树搜索(MCTS)方法在许多人工智能(AI)基准测试中取得了巨大的成功。在CPU上实现并行MCTS时,树内操作成为一个关键的性能瓶颈。在这项工作中,我们开发了一个可扩展的CPU-FPGA系统的树并行MCTS。提出了一种新的MCTS数据结构和计算的分解和映射到CPU和FPGA,以减少通信和协调。通过在基于SRAM的FPGA加速器中封装入树操作,实现了系统的高可扩展性。为了降低高数据访问延迟和工人间同步开销,我们开发了几个硬件优化。我们表明,通过使用我们的加速器,我们获得了$35\times$的加速比为在树操作,和$3\times$更高的整体系统吞吐量。我们的CPU-FPGA系统还实现了卓越的可扩展性wrt的并行工作者的数量比国家的最先进的并行MCTS的CPU上实现。
2022-08-23 cs.DC cs.SY eess.SY
Concurrent CPU-GPU Task Programming using Modern C++
在本文中,我们介绍了Heteroflow,一个新的C++库,以帮助开发人员使用任务依赖图快速编写并行CPU-GPU程序。Heteroflow利用了现代C++和基于任务的方法的强大功能来实现异构分解策略的高效实现。我们新的CPU-GPU编程模型允许用户以一种适应有效分离关注点和专业知识封装的方式来表达问题。与现有库相比,Heteroflow在性能扩展、编程效率和解决方案通用性方面更具成本效益。我们已经在VLSI设计自动化的两个实际应用中评估了Heteroflow,并展示了不同CPU-GPU数量和问题大小的性能可扩展性。在百万级任务处理的超大规模集成电路时序分析的一个特定示例中,Heteroflow在具有40个CPU核心和4个GPU的机器上实现了比基线高出7.7倍的运行时速度(99分钟vs 13分钟)。
2022-03-16 cs.DC
High-throughput Execution of Hierarchical Analysis Pipelines on Hybrid Cluster Platforms
Center for Comprehensive Informatics, Emory University(综合信息学中心,埃默里大学)
提出一种运行时中间件,通过结合任务袋与粗粒度数据流执行,并实现性能感知调度、架构感知进程放置等优化,在混合集群上实现大规模分析应用的高吞吐处理。
2012-09-14 cs.DC cs.SY eess.SY
DPP-PMRF: Rethinking Optimization for a Probabilistic Graphical Model Using Data-Parallel Primitives
提出了一种新的概率图模型优化并行算法。该算法依赖于数据并行原语(DPP),它提供了硬件架构上的可移植性能。我们评估CPU和GPU的图像分割问题的结果。与串行基线相比,我们观察到高达13倍(CPU)和44倍(GPU)的运行时加速。我们还将我们的性能与基于OpenMP的参考算法进行了比较,并发现加速高达7倍(CPU)。
2018-09-13 cs.DC
Co-Optimizing Performance and Memory FootprintVia Integrated CPU/GPU Memory Management, anImplementation on Autonomous Driving Platform
先进的嵌入式系统应用,如自动驾驶汽车和无人驾驶软件,依赖于集成的CPU/GPU平台来处理其DNN驱动的工作负载,如感知和其他高度并行的组件。在这项工作中,我们开始探索隐藏的性能暗示的GPU存储管理方法的集成CPU/GPU架构。通过一系列微基准测试和实际工作负载的实验,我们发现不同存储管理方法下的性能会因应用程序的特性而异。基于这一观察,我们开发了一个性能模型,可以预测系统开销的每一个存储管理方法的基础上应用程序的特点。在性能模型的指导下,我们进一步提出了一个运行时调度器。通过对每个任务进行存储管理策略切换和内核重叠,调度器可以显著缓解系统存储压力,减少多任务协同运行的响应时间。我们已经在NVIDIA Jetson TX 2、Drive PX 2和Xavier AGX平台上实施并广泛评估了我们的系统原型,使用了Rodinia基准测试套件以及两个无人机软件和自动驾驶软件的真实案例研究。
2020-03-19 cs.DC cs.OS
FlexiWalker: Extensible GPU Framework for Efficient Dynamic Random Walks with Runtime Adaptation
Seoul National University(首尔大学)
FlexiWalker是一种高效的GPU框架,通过动态随机游走与运行时适应技术,提升大规模并行处理性能。
2025-11-30 cs.DC
Stellar Mergers with HPX-Kokkos and SYCL: Methods of using an Asynchronous Many-Task Runtime System with SYCL
本研究通过开发HPX-SYCL集成层,将SYCL事件作为HPX任务处理,扩展HPX-Kokkos对SYCL执行空间的支持,使Octo-Tiger在异构GPU上实现可移植性,并在A100和MI100上验证了适度加速。
2023-05-09 cs.DC
Runtime-Orchestrated Second-Order Optimization for Scalable LLM Training
Nvidia(英伟达)
本文提出Asteria系统,通过分离二次优化逻辑与GPU训练路径,解决大规模矩阵优化器状态维护的系统成本问题,实现在内存受限和分布式训练中提升大语言模型的训练效率。
2026-05-15 cs.DC cs.LG
Efficient Irregular Wavefront Propagation Algorithms on Hybrid CPU-GPU Machines
在本文中,我们解决的问题,高效执行的计算模式,在这里被称为不规则波前传播模式(IWPP),在混合动力系统与多个CPU和GPU。IWPP在若干图像处理操作中是通用的。在IWPP中,如果满足传播条件,则波前中的数据元素将波传播到网格上的其相邻元素。接收传播波的元件成为波前的一部分。这种模式导致不规则的数据访问和计算。我们开发和评估的策略,使用多级队列结构的波前的有效计算和传播。这种队列结构提高了GPU中快速存储器的利用率,并减少了同步开销。我们还开发了一个基于瓦片的并行化策略,以支持在多个CPU和GPU上执行。我们评估我们的方法在一个国家的最先进的GPU加速机器(配备3个GPU和2个多核CPU)使用IWPP实现两个广泛使用的图像处理操作:形态重建和欧氏距离变换。我们的研究结果表明,GPU的性能显着改善。多个CPU和GPU的协同使用相对于单核CPU执行分别实现了50倍和85倍的加速比,用于形态重建和欧几里得距离变换。
2012-09-14 cs.DC cs.DS
Co-Design and Evaluation of a CPU-Free MPI GPU Communication Abstraction and Implementation
University of New Mexico(新墨西哥大学);Oak Ridge National Laboratory(橡树岭国家实验室);Tennessee Tech University(田纳西科技大学);University of Alabama(阿拉巴马大学);Center for Computing Research Sandia National Laboratories(桑迪亚国家实验室计算研究中心)
本文提出了一种无CPU的MPI GPU通信API,通过利用MPI扩展和HPE网络卡能力,实现了高效且易用的GPU通信,实验显示其在GPU通信和强标量扩展中性能提升显著。
2026-03-05 cs.DC
Asynchronous Runtime with Distributed Manager for Task-based Programming Models
基于并行任务的编程模型(如OpenMP)允许应用程序开发人员轻松创建其顺序代码的并行版本。标准的OpenMP 4.0引入了描述每个任务的一组数据依赖关系的可能性,运行时使用这些数据依赖关系来对任务的执行进行排序。这个顺序是使用共享图计算的,这些共享图由独占访问的所有线程使用同步机制(锁)更新,以确保依赖管理的正确性。对这些结构的访问中的争用在众核系统中变得至关重要,因为多个线程可能在等待轮到它们时浪费计算资源。本文提出了一种异步管理的运行时结构,如任务依赖图,适合于基于任务的编程模型运行时。在这样的组织中,线程向运行时请求操作,而不是直接执行操作。然后,这些请求由分布式运行时管理器(DDAST)处理,该管理器不需要专用资源。相反,管理器使用空闲线程来修改运行时结构。本文还介绍了这种运行时组织的实现,分析和性能评估。性能测试结果表明,所提出的异步组织优于原始运行时获得不同的基准和不同的众核架构的加速比。
2020-09-08 cs.DC
Pangolin: An Efficient and Flexible Graph Pattern Mining System on CPU and GPU
图模式挖掘(GPM)问题,如模体计数,有越来越多的兴趣。GPM系统已经开发出来,为这些问题的编程算法提供统一的接口,并在并行系统上运行它们。然而,现有的系统可能需要几个小时才能在中等大小的图形中挖掘简单的模式,这大大限制了它们在现实世界中的可用性。我们提出了Pangolin,一个高性能和灵活的内存GPM框架,目标是共享内存CPU和GPU。Pangolin是第一个为GPU处理提供高级抽象的GPM系统。它提供了一个简单的编程接口的基础上的扩展-减少-过滤器模型,使用户能够指定特定于应用程序的知识,搜索空间修剪和同构测试消除。我们描述了新的优化,利用局部性,减少内存消耗,并减轻动态内存分配和同步的开销。在28核CPU上的评估表明,Pangolin的性能平均分别比现有的GPM框架Arabesque、RStream和Fractal高出49倍、88倍和80倍。V100 GPU上的加速将Pangolin的性能平均提高了15倍。与最先进的手工优化的GPM应用程序相比,Pangolin以更少的编程工作提供了有竞争力的性能。
2020-01-17 cs.DC
Specx: a C++ task-based runtime system for heterogeneous distributed architectures
本文提出了Specx,一种用现代C++编写的基于任务的运行时系统,通过同时利用CPU和GPU(CUDA/HIP)并将通信纳入任务图来支持分布式异构计算,并在并行应用中展示了其潜力。
2024-11-15 cs.DC cs.SE
Increasing the Degree of Parallelism Using Speculative Execution in Task-based Runtime Systems
基于任务的编程模型在现代高性能平台上开发科学应用程序方面已经证明了它们的效率。它们允许将并行化的管理委托给运行时系统(RS),该运行时系统负责数据一致性、调度以及将工作分配给计算单元。然而,某些应用程序具有有限的并行度,因此无论RS实现多么高效,它们都可能无法在现代多核CPU上扩展。在本文中,我们建议使用投机释放的并行性时,它是不确定的,如果一些任务将修改数据,我们正式提出了一种新的方法,使投机执行的任务图。这种描述在我们的新C++ RS中部分实现,称为SPETABARU,如果其他人不确定要修改数据,它能够提前执行任务。我们研究我们的方法来计算Monte Carlo和副本交换Monte Carlo模拟的行为。
2019-03-19 cs.DC
Understanding and Reducing Metadata-Driven Host Overheads in Sampling-Based GNN Training
William & Mary(威廉与玛丽学院)
针对基于采样的图神经网络训练中元数据驱动的主机开销问题,提出ZEROGNN系统,通过将元数据控制循环完全置于GPU上,实现动态执行下的全GPU驻留,最高获得5.28倍端到端加速。
2026-05-28 cs.DC
A Unified CPU-GPU Protocol for GNN Training
针对现有GNN框架无法高效利用CPU-GPU平台资源的问题,提出统一CPU-GPU协议,通过并行实例化训练进程协同计算并动态负载均衡,最高将训练速度提升1.41倍。
2024-03-25 cs.DC
GPU Implementation and Optimization of a Flexible MAP Decoder for Synchronization Correction
在本文中,我们提出了一个优化的并行实现的灵活的MAP解码器的同步纠错码,支持非常广泛的代码大小和信道条件。在中档GPU上,我们展示了相同优化算法的CPU实现的解码加速比超过两个数量级,并且比我们早期的GPU实现多一个数量级。突出的挑战是在广泛的代码大小和通道条件以及不同的执行硬件上保持高并行化效率。我们确保这与一个动态的策略,在运行时选择并行执行参数。我们还提出了一个变种,权衡一些解码速度显着降低内存需求,没有损失的解码器的纠错性能。我们的实现增加的吞吐量和它的工作能力,更少的内存,使我们能够分析较大的代码和较差的信道条件,并使实际使用这些代码更可行。
2018-02-23 cs.DC cs.IT math.IT
Efficient Synchronization Primitives for GPUs
在本文中,我们将重新审视同步原语的设计-特别是屏障、互斥和信号量-以及它们如何应用于GPU。由于GPU和CPU的硬件和编程模型的差异,以前的实现是不够的。我们在CUDA中创建了新的实现,并通过在两种最常用的GPU(NVIDIA的Tesla和Fermi级GPU)上运行一组内存系统基准测试,分析了GPU上的旋转性能以及GPU上的休眠方法。从我们的研究结果,我们定义了更高层次的原则,是有效的通用众核处理器,其中最重要的是限制同步操作所需的原子访问的数量,因为原子访问比常规的内存访问慢。我们使用基准测试的结果来批判现有的同步算法并指导我们的新实现,然后定义GPU的抽象,以根据内存系统的行为对任何GPU进行分类。我们使用这种抽象来创建适当的实现的原语专门针对GPU,并分析这些算法的性能特斯拉和费米。然后,我们根据抽象的特征预测未来GPU的性能。我们还研究了自旋等待和睡眠等待在每个原语中的作用,以及它们的性能如何根据机器抽象而变化,然后根据GPU的特性和预期的争用给出了一组指导方针。
2011-10-20 cs.DC cs.DS cs.GR
GICC: A High-Performance Runtime for GPU-Initiated Communication and Coordination in Modern HPC Systems
Stony Brook University(石溪大学);TotalEnergies EP Research & Technology US(道达尔能源EP研究与技术美国分公司)
GICC通过使GPU内核直接触发网络接口层操作,提升了GPU驱动的通信效率,降低了协调延迟并提高了扩展性。
2026-04-24 cs.DC
HeteroSTA: A CPU-GPU Heterogeneous Static Timing Analysis Engine with Holistic Industrial Design Support
School of Integrated Circuits, Peking University(集成电路学院,北京大学);Institute of EDA, Peking University(EDA研究所,北京大学);Beijing Advanced Innovation Center for Integrated Circuits(北京集成电路先进创新中心)
本文提出首款CPU-GPU异构静态时序分析引擎HeteroSTA,内置多档延迟计算模型、兼容工业级.sdc约束、实现全流程GPU加速,测试验证其可在保证分析质量的前提下获得显著运行时提速。
2025-11-11 cs.DC
Analysis and Characterization of Performance Variability for OpenMP Runtime
针对高性能计算领域并行应用的性能可变性问题,通过在两款x86多核平台测试两类OpenMP基准程序,明确了线程绑定、SMT、核心频率波动对执行时间可变性的影响,为后续缓解相关问题提供方向。
2023-11-09 cs.DC
ScaleFreeCTR: MixCache-based Distributed Training System for CTR Models with Huge Embedding Table
Huawei Noah's Ark Lab(华为诺亚方舟实验室)
由于深度学习具有优越的特征表示能力,工业公司在商业系统中部署了各种深度点击率(CTR)模型。为了获得更好的性能,需要在大量的训练数据上对深度CTR模型进行有效的训练,这使得加快训练过程成为一个重要问题。与具有密集训练数据的模型不同,CTR模型的训练数据通常是高维和稀疏的。为了将高维稀疏输入转换为低维密集实值向量,几乎所有的深度CTR模型都采用嵌入层,嵌入层很容易达到数百GB甚至TB。由于单个GPU无法承受所有嵌入参数,因此在执行分布式训练时,仅进行数据并行是不合理的。因此,现有的分布式推荐训练平台采用模型并行。具体来说,它们使用服务器的CPU(主机)内存来维护和更新嵌入参数,并利用GPU工作器进行向前和向后计算。不幸的是,这些平台遭受两个瓶颈:(1)主机和GPU之间的拉/推操作的延迟;(2)CPU服务器中的参数更新和同步。为了解决这些瓶颈,在本文中,我们提出了ScaleFreeCTR:一个基于MixCache的CTR模型分布式训练系统。具体地说,在SFCTR中,我们也将巨大的嵌入表存储在CPU中,但利用GPU而不是CPU来有效地进行嵌入同步。为了减少GPU主机和GPU之间的数据传输延迟,提出了MixCache机制和虚拟稀疏ID操作。进行了全面的实验和消融研究,以证明SFCTR的有效性和效率。
2021-05-11 cs.AI cs.DC cs.IR
OpRAG: A Resource-Deterministic Runtime for GPU-Backed Multi-Stage RAG Workflows
University of Virginia(弗吉尼亚大学);Rutgers University(罗格斯大学);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室)
本文提出OpRAG,一种面向GPU多阶段RAG的资源确定性分布式运行时,通过优化编排层降低非模型开销,在多模型多基准测试中显著提升RAG端到端性能。
2026-08-11 cs.DC
ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels
Iowa State University(爱荷华州立大学);Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出ParaGraph,一种扩展AST并引入边权重的加权图程序表示方法,通过训练GNN预测OpenMP代码在CPU和GPU上的运行时来优化HPC内核性能,归一化RMSE低至0.004。
2023-04-07 cs.DC cs.LG cs.PF
On Scaling Coordinate-Based Neuroevolution: The Quadtree Bottleneck in ES-HyperNEAT
University of Neuchâtel(纳沙泰尔大学);University College Dublin(都柏林大学学院)
本文针对ES-HyperNEAT缺乏完整种群级GPU并行化实现的问题,提出基于JAX的JAX-ESHN,通过实验揭示其结构性瓶颈,配套的EMR-HyperNEAT解决了该瓶颈,实现了基于坐标的神经演化的规模化。
2026-09-10 cs.DC cs.LG cs.NE
Leveraging Reinforcement Learning for Task Resource Allocation in Scientific Workflows
针对科学工作流依赖用户资源估算导致浪费或配置不足的问题,提出基于梯度赌博机和 Q-learning 的强化学习资源分配方法,并在 Nextflow 中验证可显著降低资源浪费与 CPU 小时数。
2023-07-18 cs.DC
Runtime Optimization of Join Location in Parallel Data Management Systems
在并行系统上运行的应用程序通常需要将流式关系或存储关系与在并行数据存储系统中索引的数据联接。某些应用程序还计算连接元组上的UDF。连接可以在数据存储节点处完成,对应于减少侧连接,或者通过从存储系统提取数据到计算节点来完成,对应于映射侧连接。这两种方法都可能是次优的:reduce side joins可能会导致偏斜,而map side joins可能会导致大量数据被传输和复制。在本文中,我们提出的技术,使运行时的决定,这两个选项之间的每个键的基础上,以提高吞吐量的连接,占UDF计算,如果有的话。我们的技术是基于一个扩展的滑雪租赁算法,并提供最坏情况下的性能保证相对于我们所考虑的空间中的最佳点。我们的技术使用负载均衡,考虑到CPU,网络和I/O成本以及计算和存储节点上的负载。我们已经在Hadoop、Spark和Muppet流处理引擎上实现了我们的技术。我们的实验表明,我们的优化技术提供了一个显着的提高吞吐量超过现有的技术。
2017-07-31 cs.DB cs.DC
ERASE: Energy Efficient Task Mapping and Resource Management for Work Stealing Runtimes
并行应用程序通常依赖于工作窃取调度器与细粒度任务相结合来实现高性能和可伸缩性。然而,在工作窃取运行时的上下文中降低总能耗仍然具有挑战性,特别是在使用具有不同类型CPU内核的非对称架构时。用于节能的常见方法涉及动态电压和频率缩放(DVFS),其中基于诸如任务并行性、窃取关系和任务关键性的因素来执行节流。本文提出了以下观察结果:(i)在使用细粒度任务时以及在具有集群/芯片级DVFS的环境中,在每个任务的基础上利用DVFS是不切实际的;(ii)任务可塑造性,其中单个任务可以通过工作共享在多个线程/核心上执行,可以帮助减少能耗;以及(iii)任务和分配的资源之间的不匹配(即~核类型和核数量)可能间接地影响能量消耗。在本文中,我们提出ERASE(EneRgy Aware ERAEr),一个应用程序内的任务调度器上的工作窃取运行时,旨在减少并行应用程序的总能耗。它通过基于不同资源配置的每任务能耗预测来指导调度决策,从而实现节能。此外,ERASE能够适应给定的静态频率设置和外部控制的DVFS。总的来说,与最先进的基于DVF的路由器相比,ERASE实现了高达31%的节能,平均性能提高了44%。
2022-01-28 cs.DC
An Automatic Mixed Software Hardware Pipeline Builder for CPU-FPGA Platforms
Graduate School of Science and Technology, Keio University(庆应义塾大学理工学部);Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院电气电子工程系)
本文提出一种自动构建CPU-FPGA混合软硬件流水线的工具链,通过动态替换二进制中的函数实现加速,无需用户干预或代码修改,实验显示可提升15.36倍性能。
2014-08-21 cs.DC cs.SY eess.SY
Massively-Parallel Implementation of Inextensible Elastic Rods Using Inter-block GPU Synchronization
本研究基于块间GPU同步实现了CoRdE弹性杆模型及其不可伸长变体的大规模并行模拟,大幅提升计算速度,可支持心血管场景下导管导丝的触觉级实时仿真。
2025-09-04 cs.DC cs.GR