Characterizing Mobile SoC for Accelerating Heterogeneous LLM Inference
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
该研究针对移动设备LLM推理仅用单一AI加速器导致资源利用不足的问题,分析移动异构处理器特性,提出异构并行与快速同步机制,推出HeteroInfer推理引擎,实现1.34x-6.02x的端到端加速且对其他应用干扰极小。
2025-10-04 cs.AI cs.DC cs.LG
Serving Heterogeneous LoRA Adapters in Distributed LLM Inference Systems
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软);National Technical University of Athens(雅典国家技术大学)
LoRAServe通过动态适配器放置和路由框架,有效解决异构LoRA适配器在分布式大语言模型推理中的性能偏斜问题,提升吞吐量并降低延迟。
2025-11-28 cs.AI cs.DC cs.LG
mLoRA: Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs
Sichuan University(四川大学);Ant Group(蚂蚁集团);Zhejiang computation(浙江计算);The University of Texas at Arlington(德克萨斯大学阿灵顿分校);CNIC, Chinese Academy of Science(中国科学院计算机网络信息中心)
提出mLoRA系统,通过LoRA感知的流水线并行和高效算子,在多GPU上同时微调多个LoRA适配器,显著降低任务完成时间并支持更大模型,已在蚂蚁集团部署。
2024-09-18 cs.AI cs.LG
Profiling LoRA/QLoRA Fine-Tuning Efficiency on Consumer GPUs: An RTX 4060 Case Study
MSR Avinash(MSR);Juspay
本文在RTX 4060上对Qwen2.5-1.5B-Instruct模型进行LoRA/QLoRA微调性能分析,发现在8GB VRAM限制下分页优化器最高提升25%吞吐量且支持2048 tokens序列,为资源受限场景提供可复现基准。
2025-09-07 cs.AI cs.LG cs.PF
LoRA Fine-Tuning Without GPUs: A CPU-Efficient Meta-Generation Framework for LLMs
Department of Mathematics, McMaster University, Hamilton, Canada(麦斯特大学数学系);Vector Institute, Toronto, Canada(向量研究所);University of Oxford, Oxford, United Kingdom(牛津大学)
本文提出一种无需 GPU 的 LoRA 微调框架,通过元算子将数据集映射为现有预训练适配器的轻量组合,在 CPU 上即可构建适配器,虽性能不及 GPU 训练版本,但始终优于基础 Mistral 模型,为计算资源受限用户提供了实用替代方案。
2025-07-02 cs.AI cs.CL cs.LG
Astra: Efficient and Money-saving Automatic Parallel Strategies Search on Heterogeneous GPUs
提出 Astra 框架,在异构 GPU 上联合搜索 GPU 配置与并行参数,并通过训练耗时建模实现高吞吐、低成本的自动并行策略,搜索快且准确率超 95%。
2025-02-19 cs.AI cs.DC
HETHUB: A Distributed Training System with Heterogeneous Cluster for Large-Scale Models
Infinigence-AI;Tsinghua University(清华大学);Hangzhou Dianzi University(杭州电子科技大学);China Mobile Research Institute(中国移动研究院);Shanghai Jiao Tong University(上海交通大学)
针对现有分布式训练系统不支持异构GPU集群的问题,本文提出HETHUB,通过统一通信器、性能预测器和自动并行规划器实现混合并行,并在768个异构加速器上高效训练Llama-140B。
2024-08-09 cs.AI cs.DC
Poplar: Efficient Scaling of Distributed DNN Training on Heterogeneous GPU Clusters
本文提出Poplar分布式训练系统,通过扩展ZeRO实现异构感知,结合细粒度测量、批处理分配与搜索算法优化异构GPU集群利用率,实现全自动化并行,吞吐量提升1.02-3.92倍。
2024-08-22 cs.DC
Scaling Up Large-Scale Graph Processing for GPU-Accelerated Heterogeneous Systems
GPU加速的异构体系结构不仅具有支持大规模图形处理的大内存容量,还为高性能计算提供了巨大的潜力。然而,由于有限的CPU-GPU传输效率,很少有现有的异构系统可以利用这两种硬件优势来实现图形处理的扩展性能。在本文中,我们研究了异构图系统的传输效率问题。我们的关键见解是,异构图形处理的传输效率可以大大提高,通过简单地迭代每个子图多次(而不是只有一次在以前的工作)在GPU,进一步使异构图形系统的效率,通过提高GPU的处理能力,以获得改进。因此,我们提出Seraph,与{ \em流水线}子图迭代和{ \em预测}顶点更新的亮点,以合作最大限度地提高图形处理的GPU的有效计算。我们对各种大型图形数据集的评估表明,Seraph的性能优于最先进的异构图形系统5.42倍(与Graphie相比)和3.05倍(与Garaph相比)。此外,Seraph可以在Graphie上显着扩展,因为它具有更多的计算能力来进行大规模图形处理。
2018-06-03 cs.DC
Cephalo: Harnessing Heterogeneous GPU Clusters for Training Transformer Models
针对异构GPU集群中因GPU算力和内存差异导致的资源分配低效问题,提出Cephalo系统,通过将计算分布与训练状态分配解耦来优化计算和内存使用,在支持更大模型和批次规模的同时实现了显著更高的训练吞吐量。
2024-11-14 cs.DC
Cronus: Efficient LLM inference on Heterogeneous GPU Clusters via Partially Disaggregated Prefill
Purdue University(普渡大学)
Cronus通过部分分解预填充在异构GPU集群中动态平衡LLM推理负载,在提升吞吐量的同时显著降低TTFT和TBT延迟。
2025-09-22 cs.DC
Zorse: Optimizing LLM Training Efficiency on Heterogeneous GPU Clusters
针对异构GPU集群上LLM训练的负载均衡与通信等挑战,提出首个统一非对称流水线并行与异构数据并行并配备自动规划器的Zorse系统,显著提升了异构训练效率。
2025-07-14 cs.DC
CPU-GPU Heterogeneous Code Acceleration of a Finite Volume Computational Fluid Dynamics Solver
本文研究有限体积CFD求解器SENSEI的CPU-GPU异构加速,提出考虑ghost cell交换的性能模型,并通过超声速进气道算例验证异构计算相比纯CPU或纯GPU的性能优势。
2023-05-29 cs.DC cs.PF
Optimizing Allreduce Operations for Modern Heterogeneous Architectures with Multiple Processes per GPU
University of New Mexico(新墨西哥大学)
本文提出通过利用多CPU核心优化GPU-aware所有reduce操作,显著提升在异构架构上的通信效率。
2026-08-26 cs.DC
Frenzy: A Memory-Aware Serverless LLM Training System for Heterogeneous GPU Clusters
针对异构GPU集群手动配置硬件负担重的问题,提出无服务器LLM训练系统Frenzy,通过内存感知预测GPU需求并采用低开销异构感知调度,显著提升训练效率并降低作业完成时间。
2024-12-19 cs.DC
HetPipe: Enabling Large DNN Training on (Whimpy) Heterogeneous GPU Clusters through Integration of Pipelined Model Parallelism and Data Parallelism
深度神经网络(DNN)模型的规模不断增长,以提高模型的准确性和质量。此外,对于大型DNN模型的训练,由于新GPU架构的发布周期较短,使用异构GPU是不可避免的。在本文中,我们研究了如何在异构GPU集群上实现大型DNN模型的训练,该集群可能包括独立的无法用于训练的古怪GPU。我们提出了一个DNN训练系统HetPipe(Heterogeneous Pipeline),它集成了流水线模型并行(PMP)和数据并行(DP)。在HetPipe中,一组多个GPU(称为虚拟工作器)以流水线方式处理小批,多个这样的虚拟工作器采用数据并行以获得更高的性能。我们还提出了一种新的参数同步模型,我们称之为波同步并行(WSP),以适应PMP和DP的虚拟工作者,并提供收敛证明WSP。我们在给定的异构设置上的实验结果表明,与最先进的DP技术相比,使用HetPipe,DNN模型的收敛速度快了49%。
2020-05-28 cs.DC
Demystifying Cost-Efficiency in LLM Serving over Heterogeneous GPUs
本文研究异构GPU上LLM推理服务的成本效率问题,通过基准测试发现GPU组合、部署配置与负载分配可显著优化成本,并提出基于混合整数线性规划的调度算法,在多种场景下优于同构和异构基线。
2025-06-05 cs.DC
ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters
Hanyang University(汉阳大学)
提出ShuntServe系统,通过屋顶线模型估计性能和动态规划优化模型放置,在异构竞价型GPU集群上最大化吞吐量,结合输出保留迁移与共享张量存储实现容错,相比基线吞吐量提升1.42倍,成本效率提升31.9%以上。
2026-06-18 cs.DC
A Flexible Patch-Based Lattice Boltzmann Parallelization Approach for Heterogeneous GPU-CPU Clusters
在并行计算中维持单个GPU的大部分性能被认为是基于GPU的集群的主要问题。在这篇文章中,这一主题是解决的背景下,晶格玻尔兹曼流求解器,集成在WaLBerla软件框架。我们提出了一个多GPU实现使用块结构的MPI并行化,适用于负载均衡和异构计算的CPU和GPU。详细讨论了多GPU模拟所需的开销,并证明了内核性能可以在很大程度上得到维持。通过我们的GPU实现,我们在InfiniBand集群上实现了近乎完美的弱可扩展性。然而,在强扩展场景中,多GPU对硬件的利用效率低于IBM BG/P和x86集群。因此,成本分析必须为特定的模拟任务确定最佳的行动方案。此外,弱规模的异构模拟CPU和GPU同时进行的结果,提出了使用集群配备不同的节点配置。
2010-07-08 cs.DC cs.PF
HetCCL: Efficient LLM Training on Heterogeneous Vendor GPUs
snu-cse(首尔国立大学计算机科学与工程系);snu-ds(首尔国立大学数据科学研究院);moreh(Moreh公司);samsung(三星研究)
HetCCL通过统一异构GPU的集体通信库,实现跨供应商的高效训练,提升异构环境下的大语言模型训练性能。
2026-11-16 cs.DC cs.LG
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University(卡内基梅隆大学)
本文提出Helix分布式系统,通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度,显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
HexiScale: Facilitating Large Language Model Training over Heterogeneous Hardware
The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学)
本文提出HexiScale系统,通过异构GPU实现训练计算的灵活分配,提升资源利用效率,实验显示其在不同规模LLM训练中性能优于传统同构和异构系统。
2026-05-12 cs.DC
Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
Kuwait University, Kuwait(科威特大学);Northwestern Polytechnical University, China(西北工业大学)
RLTune通过强化学习与优化方法实现异构GPU集群上深度学习工作负载的高效动态调度,提升资源利用率并减少延迟。
2025-12-11 cs.AI cs.DC cs.LG
Tangram: Hiding GPU Heterogeneity for Efficient LLM Parallelization
Imperial College London(帝国理工学院)
提出Tangram系统,通过将并行化规划与GPU异构性解耦,利用同构GPU岛和模型切片组合成工作平衡流水线,实现现有异构不可知并行化器在异构集群中的高效使用,训练吞吐量提升高达2.3倍。
2026-06-16 cs.DC
Searching CUDA code autotuning spaces with hardware performance counters: data from benchmarks running on various GPU architectures
Masaryk University(马萨里克大学);Institute of Computer Science(计算机科学研究所)
我们已经在CUDA中开发了几个自动调优基准,这些基准考虑了与性能相关的源代码参数,并在各种GPU架构上达到接近峰值的性能。我们在[1]中提出的调谐空间的新搜索方法的开发和评估过程中使用了它们。使用我们的框架Kernel Tuning Toolkit(在Github上免费提供),我们在几个GPU上测量了五个基准测试的完整调优空间的计算时间和硬件性能计数器。本文提供的这些数据对于GPU代码优化空间搜索算法的研究,以及应用代码优化、硬件性能计数器和GPU内核性能之间关系的研究都有一定的参考价值。此外,我们还详细描述了我们用于对我们的系统进行稳健评估并与其他系统进行比较的脚本。特别地,模拟调谐的脚本,即,通过从我们的测量数据中快速读取计算时间来代替耗时的编译和执行调优内核,使得可以通过大量实验来检查调优搜索的收敛性。这些脚本与我们的其他代码一起免费提供,使实验搜索算法更容易,并以健壮的方式进行比较。在我们的研究过程中,我们生成了模型,用于从基准测试的调优参数值预测性能计数器的值。在这里,我们提供了模型本身,并描述了我们为训练它们而实现的脚本。这些数据可能有利于那些想要复制或建立在我们研究基础上的研究人员。
2021-02-10 cs.AI cs.DC
PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
本文提出 PPipe 推理服务系统,利用基于池的流水线并行、MILP 控制平面和自适应批处理,在异构 GPU 集群上提升视频分析推理吞吐量与低端 GPU 利用率。
2025-07-24 cs.DC
Optimal Resource Efficiency with Fairness in Heterogeneous GPU Clusters
针对异构GPU集群中深度学习训练的效率与公平性冲突问题,提出全局优化资源分配框架OEF,在保障多种公平性的同时将训练吞吐量提升多达32%。
2024-03-27 cs.DC
Whale: Efficient Giant Model Training over Heterogeneous GPUs
深度神经网络的扩展已被证明在提高模型质量方面是有效的,但也包括训练效率,可编程性和资源适应性方面的几个训练挑战。我们介绍了Whale,一个通用而高效的巨型模型分布式训练框架。为了支持各种并行策略及其混合,Whale通过定义两个新的模型注释形式的原语来概括编程接口,允许合并用户提示。Whale运行时利用这些注释并执行图形优化,以将本地深度学习DAG图形转换为分布式多GPU执行。Whale进一步引入了一种新的硬件感知并行策略,以平衡的方式提高了异构GPU上模型训练的性能。Whale部署在拥有512个GPU的生产集群中,成功训练了具有超过10万亿个模型参数的行业规模多模式模型(名为M6),展示了出色的可扩展性和效率。
2022-06-06 cs.DC
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University(布朗大学)
研究异构人工智能工作负载的调度问题,提出将设备调度制定为三种选项,识别影响延迟的因素,构建智能调度器,该调度器在多种场景下达到最优映射,精度与经典基线匹配且无需离线训练,性能优于其他策略。
2026-07-27 cs.DC
BOute: Cost-Efficient LLM Serving with Heterogeneous LLMs and GPUs via Multi-Objective Bayesian Optimization
University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学)
BOute通过多目标贝叶斯优化实现高效LLM服务,优化路由和部署策略以提升成本效率。
2026-02-11 cs.DC
Heterogeneous FPGA+GPU Embedded Systems: Challenges and Opportunities
边缘计算范式已经出现,以处理云计算问题,例如可扩展性,安全性和低响应时间等。这种新的计算趋势严重依赖于无处不在的边缘嵌入式系统。性能和能耗是设计此类系统时应考虑的两个主要因素。本文从性能和能耗两个方面研究了由嵌入式FPGA和GPU(作为加速器)组成的异构嵌入式系统为应用提供的机遇和挑战。我们研究三个设计,建模和调度的挑战,在整个文件。我们还提出了三种技术来应对这三个挑战。将所提出的技术应用于图像直方图、密集矩阵-向量乘法和稀疏矩阵-向量乘法三个应用,当FPGA和GPU并行执行相应的应用时,性能和能耗分别提高了1.79倍和2.29倍。
2019-01-25 cs.DC
Tessera: Unlocking Heterogeneous GPUs through Kernel-Granularity Disaggregation
Peking University(北京大学);Key Lab of HCST (PKU), MOE(高可信软件技术教育部重点实验室(北京大学));University of Chinese Academy of Sciences(中国科学院大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能研究院);Tsinghua University(清华大学);University of Leeds(利兹大学);Huawei Cloud(华为云)
Tessera通过内核粒度解耦提升异构GPU上的大模型推理性能和成本效率,利用离线分析与在线适应结合,实现计算与硬件能力的匹配。
2026-09-22 cs.DC cs.LG
Hetis: Serving LLMs in Heterogeneous GPU Clusters with Fine-grained and Dynamic Parallelism
Hetis通过细粒度动态并行和在线负载调度,在异构GPU集群中优化LLM服务,提升吞吐量2.25倍并降低延迟1.49倍。
2025-09-10 cs.DC
EcoShift: Performance-Aware Power Management for Power-Constrained Heterogeneous Systems
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
EcoShift通过结合在线性能预测与动态规划分配器,优化异构系统中CPU和GPU应用的电力分配,实现平均性能提升。
2026-04-19 cs.DC
Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers
University of California Merced(加州大学默塞德分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
受极端多标签分类应用的启发,我们考虑在多GPU服务器中的稀疏数据上训练深度学习模型。训练批次中非零特征数量的变化和固有的GPU异构性结合起来限制了准确性并增加了收敛时间。我们使用自适应SGD来解决这些挑战,自适应SGD是一种用于异构多GPU的自适应弹性模型平均随机梯度下降算法,其特征在于动态调度,自适应批量大小缩放和归一化模型合并。不是静态地将批划分到GPU,而是基于相对处理速度来路由批。批量大小缩放将较大的批量分配给速度较快的GPU,较小的批量分配给速度较慢的GPU,目标是达到一个稳定状态,在这个状态下,所有GPU执行相同数量的模型更新。归一化模型合并基于分配的批次为每个GPU计算最佳权重,使得组合的模型实现更好的准确性。我们的实验表明,自适应SGD在时间准确性方面优于四种最先进的解决方案,并且可以随GPU数量的增加而扩展。
2021-10-13 cs.DC cs.LG
BLASX: A High Performance Level-3 BLAS Library for Heterogeneous Multi-GPU Computing
基本线性代数子程序(Basic Linear Algebra Subprograms,BLAS)是一组低级线性代数内核,广泛应用于深度学习和科学计算。新兴GPU架构带来的巨大而经济的计算能力推动了在多GPU系统上实现计算密集型3级BLAS的兴趣。在本文中,我们调查了现有的多GPU 3级BLAS,并提出1)问题,如不适当的负载均衡,低效的通信,GPU流级并发和数据缓存不足,阻碍了当前的实现充分利用异构计算资源; 2)和GPU间的对等(P2P)通信仍然没有探索。然后,我们提出BLASX:一个高度优化的多GPU 3级BLAS。我们采用了算法的概念,由瓦片处理矩阵瓦片作为基本的数据单元和瓦片上的操作作为基本任务。任务由一个动态异步运行时引导,它是缓存和位置感知的。BLASX下的通信成本变得微不足道,因为它完美地重叠了异步任务进程中跨多个流的通信和计算。它还通过提出一种创新的2级分层切片缓存,利用GPU间的P2P通信,将当前的切片缓存方案向前推进了一步。因此,BLASX在多GPU配置下可观察到线性加速;广泛的基准测试表明,BLASX始终优于相关的领先工业和学术项目,如cuBLAS-XT,SuperMatrix,MAGMA和PaRSEC。
2015-10-16 cs.DC
NeutronOrch: Rethinking Sample-based GNN Training under CPU-GPU Heterogeneous Environments
Northeastern University(东北大学)
针对CPU-GPU异构环境下现有GNN训练任务编排方法资源利用率低的问题,提出NeutronOrch系统,采用基于层的任务编排与细粒度流水线设计,实现CPU与GPU均衡利用,最高达11.51倍性能加速。
2023-12-12 cs.DC cs.LG
A Framework for Developing Real-Time OLAP algorithm using Multi-core processing and GPU: Heterogeneous Computing
存储数据量的压倒性增长促使研究人员寻求不同的方法,以最佳地利用它,其中大多数都面临着响应时间的问题,由于这种巨大的数据量。大多数解决方案都建议物化作为一个最受欢迎的解决方案。然而,这样的解决方案无论如何也不能获得实时的答案.在本文中,我们提出了一个框架,说明了障碍和建议的解决方案,在实现实时的OLAP答案,显着地用于决策支持系统和数据仓库的方式。
2014-02-16 cs.DC
Towards Affordable, Adaptive and Automatic GNN Training on CPU-GPU Heterogeneous Platforms
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Qingdao Research Institute, Beihang University(北京航空航天大学青岛研究院);School of Software, Beihang University(北京航空航天大学软件学院)
针对GNN训练依赖昂贵平台的问题,提出A3GNN框架,通过局部感知采样、细粒度并行调度及强化学习优化资源利用,在CPU-GPU异构平台实现经济、自适应、自动化训练,提升吞吐量并缩小性能差距。
2025-10-15 cs.DC
BitIR: Cross-Architecture Fault Injection for Resilience Analysis of Heterogeneous GPU Applications
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
本文提出跨架构故障注入框架BitIR,在LLVM IR层注入单比特故障,对比NVIDIA、Intel、AMD GPU上的韧性表现,发现故障行为因后端而异,强调需后端与工作负载感知的故障缓解。
2026-10-06 cs.DC
HeteroSTA: A CPU-GPU Heterogeneous Static Timing Analysis Engine with Holistic Industrial Design Support
School of Integrated Circuits, Peking University(集成电路学院,北京大学);Institute of EDA, Peking University(EDA研究所,北京大学);Beijing Advanced Innovation Center for Integrated Circuits(北京集成电路先进创新中心)
本文提出首款CPU-GPU异构静态时序分析引擎HeteroSTA,内置多档延迟计算模型、兼容工业级.sdc约束、实现全流程GPU加速,测试验证其可在保证分析质量的前提下获得显著运行时提速。
2025-11-11 cs.DC
Efficient Matrix Factorization on Heterogeneous CPU-GPU Systems
矩阵分解在机器学习和数据采掘中有着广泛的应用。已经研究了大量的算法来分解矩阵。其中,随机梯度下降(SGD)是一种常用的方法。随着GPU在通用数据并行应用中的广泛应用,具有多核CPU和GPU的异构系统变得越来越有前途。由于MF的计算成本很大,我们的目标是通过利用异构多处理器的巨大并行处理能力来提高基于SGD的MF计算的效率。异构CPU-GPU系统上并行SGD算法的主要挑战在于矩阵划分的粒度和任务分配策略。我们设计了一种新的策略,通过考虑两个方面将矩阵分成一组块。首先,我们观察到矩阵应该不均匀地划分,并且应该将相对较大的块分配给GPU以使GPU的计算能力饱和。除了利用硬件的特性之外,分配给两种类型的硬件的工作负载应该平衡。针对最终的划分策略,我们设计了一个成本模型,为我们的问题,以准确地估计不同的数据大小的硬件性能。动态调度策略也被用来进一步平衡实际工作负载。大量的实验表明,我们提出的算法实现了高效率的高质量的训练质量。
2020-06-24 cs.DB cs.DC
Going green: optimizing GPUs for energy efficiency through model-steered auto-tuning
图形处理单元(GPU)在过去十年中彻底改变了计算领域。然而,配备GPU的数据中心和计算设施不断增长的能源需求带来了巨大的资本和环境成本。GPU应用程序的能耗在很大程度上取决于它们的优化程度。自动调整是一种有效且常用的技术,用于找到算法、应用程序和硬件参数的最佳组合,以优化GPU应用程序的性能。在本文中,我们介绍了新的能源监测和优化功能的内核调谐器,通用的自动调整工具的GPU应用程序。这些功能使我们能够研究执行时间调优与提高能效的各种方法之间的差异,并研究调优难度的差异。此外,我们的GPU功耗模型通过提供GPU可能最节能的时钟频率,大大减少了大的调优搜索空间。
2022-11-14 cs.DC cs.PF
Heddle: Learning Structural Templates for Parallelism Planning on Heterogeneous GPU Clusters
UNIST(蔚山科学技术院);POSTECH(浦项工科大学);UC Merced(加州大学默塞德分校);USC(南加州大学)
Arachne提出基于学习的规划器,将并行训练规划简化为流水线结构搜索,在动态异构GPU集群上快速生成高吞吐量方案,吞吐量最高提升84.5%或4.6倍。
2026-09-30 cs.DC
Latency-Aware Orchestration for Multi-Agent LLM Workflows on Heterogeneous GPUs
Beihang University(北京航空航天大学);University of Leeds(利兹大学)
该研究针对异构GPU上的多智能体大语言模型工作流,提出预测引导的运行时系统,通过优化编排降低了端到端延迟与GPU资源消耗。
2026-09-04 cs.DC
Efficient executions of Pipelined Conjugate Gradient Method on Heterogeneous Architectures
预条件共轭梯度法(PCG)被广泛用于求解具有稀疏矩阵的线性方程组。PCG的最新版本,流水线PCG,消除了PCG算法的计算中的依赖性,使得非依赖性计算可以与通信重叠。在本文中,我们提出了三种方法,有效地执行流水线PCG算法的GPU加速异构体系结构。前两种方法通过在CPU内核和GPU上异步执行不同的任务来实现任务并行。第三种方法通过基于性能模型的CPU和GPU之间的工作负载分解来实现数据并行。性能模型考虑了CPU核心和GPU的相对性能,使用一些初始执行并执行2D数据分解。我们还实现了优化策略,如GPU的内核融合和CPU的合并向量操作。我们的方法给出了高达8倍的加速比和平均3倍加速比PCG CPU实现的Paralution和PETSc库。他们还提供了高达5倍的加速比,平均1.45倍的加速比PCG GPU实现的Paralution和PETSc库。第三种方法还提供了一种有效的解决方案,用于解决无法适应GPU内存的问题,并为此类问题提供高达2.5倍的加速。
2021-05-13 cs.DC
Solving the Quadratic Assignment Problem on heterogeneous environment (CPUs and GPUs) with the application of Level 2 Reformulation and Linearization Technique
二次分配问题是一个经典的组合优化问题,属于NP难问题,研究较多。这个问题是指将N个设施分配到N个位置,服从1对1的关系,目的是使设施之间的位移成本最小化。将重构线性化技术(RLT)应用到QAP中,得到了一个紧线性松弛,但它很大且很难求解。以前基于3级RLT的工作需要大约700GB的工作内存来处理一个大型实例(N = 30设施)。我们提出了一个修改后的版本的算法提出的亚当斯等人。它执行异构系统(CPU和GPU),基于2级RLT。在某些情况下,我们的算法比3级RLT版本快140倍,占用内存少97%。该算法能够通过第一时间解决两个实例:tai35b和tai40b。
2015-10-07 cs.DC
HetSeq: Distributed GPU Training on Heterogeneous Infrastructure
University of Notre Dame(圣母大学)
像PyTorch和Tensorflow这样的现代深度学习系统能够在分布式基础设施上训练具有数十亿(或数万亿)参数的巨大模型。这些系统要求内部节点具有相同的内存容量和计算性能。不幸的是,大多数组织,尤其是大学,都采用零敲碎打的方法来购买计算机系统,从而导致异构的基础设施,无法用于计算大型模型。目前的工作描述了HetSeq,一个软件包改编自流行的PyTorch包,提供了在异构基础设施上训练大型神经网络模型的能力。使用Transformer翻译和BERT语言模型的实验表明,HetSeq可在异构系统上扩展。HetSeq可以很容易地扩展到其他模型,如图像分类。包含支持文档的软件包可在https://github.com/yifding/hetseq上公开获取。
2020-09-25 cs.DC cs.LG
Efficiently Executing High-throughput Lightweight LLM Inference Applications on Heterogeneous Opportunistic GPU Clusters with Pervasive Context Management
University of Notre Dame(圣母大学)
针对HPC集群中轻量级LLM推理应用的高启动成本和长队列问题,提出普适上下文管理技术,将初始化上下文与推理解耦并保留于GPU,使事实验证应用执行时间减少72.1%并支持机会性扩展。
2025-10-15 cs.DC
Orchestrated Co-scheduling, Resource Partitioning, and Power Capping on CPU-GPU Heterogeneous Systems via Machine Learning
本文针对CPU-GPU异构系统,提出基于机器学习的预测性能建模方法,协同优化程序共置调度、CPU/GPU资源划分和功率封顶,在真实系统上相比朴素时间共享调度和均分功率封顶实现最高67%加速。
2024-05-06 cs.DC
Spatio-Temporal Parallelism for Diffusion Model Inference on Heterogeneous Multi-GPU Systems
Sun Yat-sen University(中山大学)
针对异构多GPU环境下扩散模型并行推理的掉队者效应,提出Orchestra框架,通过时空细粒度并行平衡负载,使端到端延迟降低最多45%,提升资源利用率。
2026-08-25 cs.CV cs.DC
Open SYCL on heterogeneous GPU systems: A case of study
本研究评估Open SYCL在异构多GPU系统上的性能与开发效率,以有限时间李雅普诺夫指数计算为例,发现其开销低且开发工作量小于CUDA/HIP,并能轻松同时利用不同供应商的GPU。
2023-10-10 cs.DC
Ripple : Simplified Large-Scale Computation on Heterogeneous Architectures with Polymorphic Data Layout
GPU现在用于HPC中的各种问题。然而,有效利用多个GPU的计算能力是一项挑战。实现良好性能的主要挑战是内存布局,影响内存带宽,有效使用GPU的内存空间,GPU间通信和同步。我们使用Ripple库来解决这些问题,该库提供了跨多个维度和多个GPU的计算空间的统一视图,允许多态数据布局,并提供了一个简单的图形接口来描述一种算法,可以优化GPU间的数据传输。我们描述了Ripple提供的抽象,以允许简单地描述复杂的计算,并以最小的开销在许多GPU上高效地执行。我们展示了一些例子的性能结果,从粒子运动到有限体积方法和程函方程,以及在多个GPU上显示出良好的强弱缩放结果。
2021-04-17 cs.DC cs.PF
Heterogeneous CPU/GPU co-execution of CFD simulations on the POWER9 architecture: Application to airplane aerodynamics
高保真计算流体动力学模拟通常与大型计算需求相关联,随着每一代新的超级计算机的出现,这种需求越来越尖锐。然而,需要大量的研究工作来解锁前沿系统的计算能力,目前被称为pre-Exascale系统,基于日益复杂的架构。在本文中,我们提出了在计算力学代码Alya中实现的方法。我们详细描述的并行化策略,充分利用不同层次的并行性,以及一种新的协同执行方法,异构CPU/GPU架构的有效利用。后者是基于多代码协同执行的方法与动态负载均衡机制。所有提出的策略的性能评估已经进行了飞机模拟的POWER 9架构与NVIDIA伏打V100 GPU加速。
2020-07-06 cs.CE cs.DC