Study of Automatic GPU Offloading Technology for Open IoT
物联网技术已经取得了进展。开放式物联网(Open IoT)的概念通过整合水平分离的设备和服务来实现各种物联网服务。对于开放物联网时代,我们提出了隐性计算技术,以发现用户需要的数据设备,并动态使用它们。然而,现有的默会计算并不关心性能和操作成本。因此,本文提出了一种GPU自动卸载技术,作为默会计算的基础技术,该技术利用遗传算法提取合适的卸载循环语句来提高性能。我们评估了一个C/C++矩阵操作,以验证GPU卸载的有效性,并确认在1小时的调整时间内性能提高了35倍以上。
2018-06-04 cs.DC
Legion: Automatically Pushing the Envelope of Multi-GPU System for Billion-Scale GNN Training
针对现有单机多GPU缓存式GNN系统难以高效训练十亿规模图的问题,本文提出Legion系统,通过分层图划分、统一多GPU缓存及自动缓存管理机制提升训练效率,支持十亿规模GNN训练且性能优于现有最优系统。
2023-06-12 cs.DC
Towards Affordable, Adaptive and Automatic GNN Training on CPU-GPU Heterogeneous Platforms
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Qingdao Research Institute, Beihang University(北京航空航天大学青岛研究院);School of Software, Beihang University(北京航空航天大学软件学院)
针对GNN训练依赖昂贵平台的问题,提出A3GNN框架,通过局部感知采样、细粒度并行调度及强化学习优化资源利用,在CPU-GPU异构平台实现经济、自适应、自动化训练,提升吞吐量并缩小性能差距。
2025-10-15 cs.DC
ZEUS: An Efficient GPU Optimization Method Integrating PSO, BFGS, and Automatic Differentiation
Old Dominion University(老道明大学);Fermi National Accelerator Laboratory(费米国家加速器实验室)
本文提出ZEUS方法,结合PSO、BFGS和自动微分,利用GPU加速高维非凸优化,通过PSO生成初始点,BFGS并行优化,自动微分避免手动求导,实验验证其有效性。
2026-01-22 cs.DC
Every Kernel Is a Join: Automatic Multi-GPU Parallelism for AI Computations in Einsummable
Rice University(莱斯大学)
Einsummable是自动将AI计算分布到多GPU服务器的原型系统,通过连接-聚合规格选择分解方式,在8个GPU A100服务器上处理LLaMA Transformer块的性能优于手动调优的PyTorch和vLLM。
2026-09-04 cs.DC
Automatic Horizontal Fusion for GPU Kernels
我们提出了自动水平融合,一种新的优化技术,补充了GPU程序的标准内核融合技术。与标准融合的目标是消除中间数据往返不同,我们的水平融合技术旨在增加线程级并行性以隐藏指令延迟。我们还介绍了HFuse,一个新的源到源CUDA编译器,实现自动水平融合。实验结果表明,水平融合可以使运行时间提高2.5%-60.8%。我们的研究结果表明,水平融合对于将内核与需要不同类型GPU资源的指令(例如,存储器密集型内核和计算密集型内核)。
2020-07-02 cs.DC cs.PL
ACC Saturator: Automatic Kernel Optimization for Directive-Based GPU Code
本文提出 ACC Saturator,利用 equality saturation 自动优化基于指令的 GPU 顺序内核代码,在保持依赖的前提下重写并提取最优方案,显著提升多个编译器性能。
2024-09-17 cs.DC
Astra: Efficient and Money-saving Automatic Parallel Strategies Search on Heterogeneous GPUs
提出 Astra 框架,在异构 GPU 上联合搜索 GPU 配置与并行参数,并通过训练耗时建模实现高吞吐、低成本的自动并行策略,搜索快且准确率超 95%。
2025-02-19 cs.AI cs.DC
Study of Automatic Offloading Method in Mixed Offloading Destination Environment
近年来,除了诸如GPU、FPGA或多核CPU的小核CPU之外的异构硬件的利用率正在增加。然而,当使用异构硬件时,诸如OpenMP、CUDA和OpenCL等技术技能的障碍很高。在此基础上,我提出了环境适应软件,根据要放置的硬件,可以自动转换,配置和高性能操作一次编写的代码。然而,包括现有的技术,还没有研究适当地和自动地卸载混合卸载目标环境,如GPU、FPGA和多核CPU。本文作为环境自适应软件的一个新元素,研究了在GPU、FPGA和多核CPU混合卸载环境下,应用程序的合理自动卸载方法。我评估所提出的方法在多个应用程序的有效性。
2021-07-10 cs.DC
Syncopate: Efficient Multi-GPU AI Kernels via Automatic Chunk-Centric Compute-Communication Overlap
University of California, San Diego(加州大学圣地亚哥分校);Meta;George Mason University(乔治梅森大学);OpenAI
Syncopate通过在单个融合内核内实现细粒度的计算通信重叠,提高了多GPU工作负载的效率,平均加速1.3倍,最高达4.7倍。
2026-07-02 cs.DC
GPU Support for Automatic Generation of Finite-Differences Stencil Kernels
石油和天然气行业中待处理数据的增长与基于模板计算的不断发展的算法所提出的要求相匹配,例如全波形反演和逆时偏移。图形处理单元(GPU)由于其高度的数据并行性而成为模板计算的有吸引力的体系结构目标。然而,快速的体系结构和技术进步使得即使是最熟练的程序员也很难在微体系结构级别上保持与技术进步同步。在这项工作中,我们提出了一个扩展的开源编译器,旨在产生高度优化的有限差分内核用于反演方法命名为Devito。我们嵌入它与牛津并行域特定语言(OP-DSL),以使自动代码生成的GPU架构从一个高层次的表示。我们的目标是使用户能够在符号表示级别上编码,从而毫不费力地通过GPU架构的处理能力来利用他们的实现。在NVIDIA GTX Titan Z和NVIDIA Tesla V100上对所实现的后端进行了评估,并通过屋顶线模型对3D声学各向同性波传播模板内核的不同空间顺序离散化级别进行了操作强度评估,并进行了符号优化。它实现了V100峰值性能的63%和Titan Z峰值性能的24%,用于256点网格上的模板内核。我们的研究表明,提高内存使用率应该是最有效的策略,利用性能的评估架构上实现的解决方案。
2019-12-02 cs.DC
ALCOP: Automatic Load-Compute Pipelining in Deep Learning Compiler for AI-GPUs
针对现有AI-GPU张量程序流水线优化依赖手写库、扩展性差的问题,本文提出编译器原生的ALCOP框架,攻克多级多阶段流水线生成的三大障碍,实现显著性能提升与高效调度调优。
2023-05-06 cs.DC
Automatic BLAS Offloading on Unified Memory Architecture: A Study on NVIDIA Grace-Hopper
针对代码移植GPU需大量工作且现有自动卸载工具因数据传输成本高不实用的问题,本研究利用NVIDIA Grace-Hopper的统一内存架构,提出无需代码更改或重新编译的自动BLAS卸载工具,在量子化学/物理代码测试中获显著性能收益。
2025-04-15 cs.DC
Revisiting Co-Processing for Hash Joins on the Coupled CPU-GPU Architecture
在图形处理器(GPU)上进行查询协同处理已成为提高内存数据库性能的有效手段。然而,PCI-e总线的相对低的带宽和高延迟通常是协处理的瓶颈问题。最近,耦合的CPU-GPU架构受到了很多关注,例如,AMD APU将CPU和GPU集成到单个芯片中。这为优化查询协同处理提供了新的机会。在本文中,我们实验重温哈希连接,最重要的连接算法之一的主存数据库,在一个耦合的CPU-GPU架构。特别是,我们研究了细粒度的协同处理机制的散列连接和不分区。协同处理勾勒出一个有趣的设计空间。我们扩展了现有的成本模型,以自动指导设计空间的决策。我们在最新的AMD APU上的实验结果表明:(1)耦合架构能够实现细粒度的协处理和缓存重用,这在分立的CPU-GPU架构上是低效的;(2)成本模型可以自动指导设计和设计空间中的调整旋钮;(3)细粒度协处理比仅CPU、仅GPU和传统CPU-GPU协处理分别实现高达53%、35%和28%的性能提升。我们相信,从这项研究的见解和影响是初步的,但重要的是进一步研究耦合CPU-GPU架构上的查询协同处理。
2013-07-08 cs.DC
GPU First -- Execution of Legacy CPU Codes on GPUs
本文提出名为“GPU First”的新型编译方案,无需修改源码即可自动将传统CPU应用编译为GPU代码,通过部分libc GPU实现或远程过程调用解析库函数,在多个基准测试中实现高达14.36倍加速,有效指导大型传统应用的GPU移植。
2023-06-26 cs.DC
JACC: An OpenACC Runtime Framework with Kernel-Level and Multi-GPU Parallelization
计算技术的快速发展为基于指令的编程模型在维护性能关键应用程序的软件可移植性方面发挥主要作用铺平了道路。在这种模型上的努力涉及最少的工程成本,用于在多个架构上实现计算加速,而程序员仅需要在顺序代码上添加Meta信息。然而,获得最佳可能效率的优化通常具有挑战性。程序员插入指令可能会导致限制可用编译器优化的副作用,这可能导致性能下降。这在针对多GPU系统时加剧,因为杂注不会自动适应此类系统,并且需要程序员进行昂贵且耗时的代码调整。本文介绍了JACC,OpenACC运行时框架,使OpenACC程序的动态扩展作为一个透明的程序和编译器之间的层。我们增加了一个通用的代码翻译方法,多设备利用手动优化的应用程序可以自动分发,同时保持原始的代码结构和并行性。在某些情况下,我们展示了NVIDIA V100 GPU的内核执行部分几乎是线性扩展的。当自适应地使用多GPU时,由此产生的性能改进分摊了GPU到GPU通信的延迟。
2022-04-27 cs.DC
A Tool for Automatically Suggesting Source-Code Optimizations for Complex GPU Kernels
未来的计算系统,从手持设备到超级计算机,无疑将比今天的系统更加并行和异构,以提供更高的性能和能源效率。因此,GPU越来越多地用于加速通用应用,包括具有数据依赖性、不规则控制流和存储器访问模式的应用。然而,日益增长的复杂性、暴露的存储层次结构、不一致性、异构性和并行性将使得基于加速器的系统逐渐更难以编程。在可预见的未来,绝大多数程序员将不再能够从下一代系统中提取额外的性能或节能,因为编程将过于困难。自动性能分析和优化推荐工具有可能避免这种情况。它们包含专业知识,并在需要时提供给软件开发人员。在本文中,我们描述和评估这样的工具。
2019-10-17 cs.DC cs.PF cs.SE
Supporting Very Large Models using Automatic Dataflow Graph Partitioning
New York University(纽约大学)
本文介绍了Tofu,这是一个在多个GPU设备上划分非常大的DNN模型的系统,以减少每个GPU的内存占用。Tofu旨在划分细粒度张量运算符的低维图,以便透明地与MXNet等通用深度学习平台一起工作。为了自动划分每个操作符,我们建议描述一个操作符的语义在一个简单的语言,表示张量的lambda函数映射从张量坐标值。为了最佳地划分一个图中的不同操作符,豆腐使用递归搜索算法,最大限度地减少总的通信成本。我们在8-GPU机器上的实验表明,Tofu可以训练非常大的CNN和RNN模型。它还实现了25% - 400%的加速比替代方法的训练非常大的模型。
2019-02-20 cs.DC cs.LG
A Massive Data Parallel Computational Framework for Petascale/Exascale Hybrid Computer Systems
异构系统在高性能计算(HPC)系统上变得越来越普遍。即使使用像CUDA和OpenCL这样的工具,在GPU上获得最佳性能也是一项重要的任务。简化此任务的方法包括Merge(用于异构多核系统的基于库的框架),Zippy(用于在多个GPU上并行执行代码的框架),BSGP(用于GPU上通用计算的新程序设计语言)和CUDA-lite(基于注释转换代码的CUDA增强)。此外,正在努力改进编译器工具,以实现GPU仿射循环嵌套的自动并行化和优化,以及将OpenMP并行代码自动转换为CUDA。在本文中,我们提出了一种替代方法:一个新的计算框架的大规模数据的并行科学代码的应用程序,适用于这样的千万亿次/亿亿次混合动力系统的高度可扩展的仙人掌框架的发展。作为其实用性的第一个非平凡的演示,我们成功地开发了一个新的3D CFD代码,实现了改进的性能。
2012-01-10 cs.DC
High Performance GPU Code Generation for Matrix-Matrix Multiplication using MLIR: Some Early Results
本报告介绍了使用MLIR编译器基础设施针对NVIDIA GPU上的张量核心进行代码生成的一些早期结果。当今最先进的高性能深度学习主要由手动优化的高度调优库驱动。开发这种库的方法通常不是模块化的,也不是像LLVM这样的编译器基础设施那样可重用的。手动优化通常不使用标准的中间表示(IR),尽管执行的优化可以被编码为IR上的一系列转换步骤和定制传递。手动调优还可能错过仅可通过自动代码生成轻松实现的设计点的探索。我们认为,直到最近推出的MLIR(多级中间表示),IR基础设施不适合以有效的方式解决自动生成特定领域的库的问题。特别是,使用单个IR很难在高、中、低级别上表示和转换计算抽象。通过MLIR中的适当抽象,我们构建了一个实验性的降低流水线,能够在NVIDIA GPU上自动生成针对其张量内核的矩阵-矩阵乘法代码。在我们评估的一组问题大小上,初始性能结果表明,在NVIDIA基于Ampere微架构的Geforce 3090 RTX上,FP 32和FP 16的性能分别达到CuBLAS的95-119%和80-160%。我们相信,这些结果可以作为进一步研究和开发自动代码和库生成使用类似的专业加速器的IR基础设施的动机。
2021-08-23 cs.DC cs.PF
Performant Automatic BLAS Offloading on Unified Memory Architecture with OpenMP First-Touch Style Data Movement
本文提出SCILIB-Accel工具,利用NVIDIA Grace-Hopper统一内存架构和Device First-Use数据移动策略,实现无需代码修改的自动BLAS卸载,在量子物理代码上获得显著加速。
2025-08-13 cs.DC cs.MS cs.PF
Benanza: Automatic $μ$Benchmark Generation to Compute "Lower-bound" Latency and Inform Optimizations of Deep Learning Models on GPUs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
随着深度学习(DL)模型越来越多地用于延迟敏感型应用,人们对改善其响应时间的兴趣也越来越大。这种改进的一个重要途径是分析这些模型的执行情况,并描述其性能,以确定可能的优化机会。然而,目前的分析工具缺乏高度期望的能力,以表征理想的性能,确定低效率的来源,并量化潜在的优化的好处。这些缺陷导致缓慢的表征/优化周期,无法跟上引入新DL模型的快速步伐。我们提出了Benanza,这是一个可持续和可扩展的基准测试和分析设计,可以加快GPU上DL模型的表征/优化周期。Benanza由四个主要组件组成:一个模型处理器,它将模型解析为内部表示;一个可配置的基准生成器,它在给定一组模型的情况下自动生成微基准;一个基准结果数据库;以及一个分析器,它使用基准数据计算DL模型的“下限”延迟,并通知模型执行的优化。“下限”延迟度量估计GPU系统上的理想模型执行,并作为识别框架或系统库中优化机会的基础。我们使用Benanza在从Kepler到最新的Turing的7个GPU上评估了MXNet,ONNX和PyTorch中的30个ONNX模型,并确定了并行层执行,cuDNN卷积算法选择,框架效率低下,层融合和使用Tensor Cores的优化。
2020-02-19 cs.DC cs.LG cs.PF
Automatic Parallelization of Python Programs for Distributed Heterogeneous Computing
本文介绍了一种新的方法来自动提前(AOT)并行化和优化的顺序Python程序在分布式异构平台上执行。我们的方法支持Python程序的AOT源到源转换,由包含函数参数和返回值的类型提示驱动。这些提示可以由程序员提供,也可以通过动态分析器工具获得;多版本代码生成保证了AOT转换在所有情况下的正确性。我们的编译框架执行自动并行化和复杂的高级代码优化的目标分布式异构硬件平台。它包括对多面体框架的扩展,统一了矩阵/张量运算符中的用户编写的循环和隐式循环,以及CPU与GPU代码变体的自动化部分。此外,我们的多面体优化使节点内和节点间的并行。最后,使用Ray运行时部署优化的输出代码,以跨集群中的多个异构节点调度分布式任务。我们的经验评估显示,在单节点和多节点实验中,相对于顺序Python,性能有了显著的提高,当在OLCF Summit超级计算机中使用24个节点和144个GPU进行空时自适应处理(STAP)雷达应用时,性能提高了20,000多$\times$。
2022-03-11 cs.DC
Proposal of Automatic Offloading for Function Blocks of Applications
当使用CPU以外的异构硬件时,OpenCL等技术技能的障碍很高。在此基础上,我提出了环境自适应软件,可以根据要放置的硬件自动转换,配置和高性能操作一次编写的代码。部分卸载到GPU之前是自动化的。在本文中,我提出并评估了一种自动提取方法,适当的卸载目标循环语句的源代码作为卸载到FPGA的第一步。我评估所提出的方法在多个应用程序的有效性。
2020-04-21 cs.DC
AutoDDL: Automatic Distributed Deep Learning with Near-Optimal Bandwidth Cost
针对分布式系统训练大规模模型需复杂并行组合的问题,提出AutoDDL框架,利用OneFlow的SBP抽象描述并行方案,结合分析性能模型与定制坐标下降算法,实现近最优带宽成本的自动并行化,显著缩短训练时间。
2025-08-21 cs.DC
C Language Extensions for Hybrid CPU/GPU Programming with StarPU
用于高性能计算(HPC)的现代平台包括具有通用CPU和“加速器”(通常以图形处理单元(GPU)的形式)的机器。StarPU是一个利用此类平台的C库。它为用户提供了定义要在CPU或GPU上执行的“任务”的方法,以及它们之间的依赖关系,并通过在所有可用的处理单元上自动调度它们。这样,它还使程序员不必了解底层架构细节:它可以适应可用的CPU和GPU,并根据需要自动在主内存和GPU之间传输数据。虽然StarPU的方法成功地解决了运行时调度问题,但作为一个C库,它的编程接口很差,而且容易出错。本文介绍了2011年开始的一项努力,通过扩展GCC编译器套件,将库导出的一些概念作为C语言结构进行推广。我们的主要贡献是映射到StarPU的任务编程范式的语言扩展的设计和实现。我们认为,所提出的扩展使StarPU更容易入门,消除了使用C库时可能发生的错误,并帮助诊断可能的错误。我们就今后的工作作出结论。
2013-04-10 cs.CE cs.DC cs.MS
GPU-Tile-Sim: A Tile-Centric GPU Simulation Framework for LLM Hardware-Software Co-Design
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
研究针对大语言模型中GPU内核给性能模型带来的挑战,提出GPU-Tile-Sim框架,以瓦片图表示内核执行,设计前后端,在多种工作负载上评估,精度高,还扩展到Blackwell验证其对设计分析的有效性。
2026-07-14 cs.DC
CommBench: Can LLMs Write Correct and Efficient GPU Communication Code?
University of California, Davis(加州大学戴维斯分校);University of California, Berkeley(加州大学伯克利分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Chinese University of Hong Kong(香港中文大学);University of California, San Diego(加州大学圣地亚哥分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出GPU通信编程综合基准CommBench,评估发现最强代码生成模型GPT-5.5仅在30.7%任务中实现正确高效的GPU通信代码,凸显LLMs与专家水平的差距。
2026-08-06 cs.DC
Proposal of Automatic FPGA Offloading for Applications Loop Statements
近年来,随着摩尔定律的预测变慢,除了CPU之外,诸如FPGA的能量有效的硬件的利用率正在增加。然而,当使用CPU以外的异构硬件时,OpenCL等技术技能的障碍很高。在此基础上,我提出了环境自适应软件,可以根据要放置的硬件自动转换,配置和高性能操作一次编写的代码。部分卸载到GPU之前是自动化的。在本文中,我提出并评估了一种自动提取方法,适当的卸载目标循环语句的源代码作为卸载到FPGA的第一步。我使用现有的应用程序评估所提出的方法的有效性。
2020-04-18 cs.DC
Evaluation of Automatic FPGA Offloading for Loop Statements of Applications
近年来,随着摩尔定律的预测变慢,除了CPU之外,诸如FPGA的能量有效的硬件的利用率正在增加。然而,当使用CPU以外的异构硬件时,OpenCL等技术技能的障碍很高。在此基础上,我提出了环境自适应软件,可以根据要放置的硬件自动转换,配置和高性能操作一次编写的代码。部分卸载到GPU之前是自动化的。在本文中,我提出并评估了一种自动提取方法,适当的卸载目标循环语句的源代码作为卸载到FPGA的第一步。我使用现有的应用程序评估所提出的方法的有效性。
2020-02-21 cs.DC
A progressive mesh method for physical simulations using lattice Boltzmann method on single-node multi-gpu architectures
在本文中,一个新的渐进网格算法,以执行快速的物理模拟,通过使用格子玻尔兹曼方法(LBM)上的单节点多GPU架构。该算法能够根据流体的传播情况自动划分网格。这种方法也可以用于在复杂几何形状上执行各种类型的模拟。与文献中使用的静态网格方法相比,该算法结合GPU的大规模并行性可以获得非常好的性能。几个模拟,以评估该算法。
2015-10-13 cs.DC physics.comp-ph
Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning
Seoul National University(首尔国立大学)
深度学习(DL)框架利用GPU来提高DL推理和训练的速度。理想情况下,DL框架应该能够充分利用GPU的计算能力,使得运行时间取决于分配给GPU的计算量。然而,我们观察到,在调度GPU任务时,现有的DL框架存在效率低下的问题,例如较大的调度开销和不必要的串行执行。为此,我们提出了Nimble,这是一个DL执行引擎,可以以最小的调度开销并行运行GPU任务。Nimble引入了一种称为提前(AoT)调度的新技术。这里,调度过程在执行GPU内核之前完成,从而在运行时间期间去除大部分调度开销。此外,Nimble通过在单个GPU中利用多个GPU流来自动并行执行GPU任务。对各种神经网络的评估表明,与PyTorch相比,Nimble的推理和训练速度分别提高了22.34 $\times$和3.61 $\times$。此外,Nimble的性能比最先进的推理系统TensorRT和TVM分别高出2.81 $\times$和1.70 $\times$。
2020-12-04 cs.DC cs.LG
Towards Automatic Transformation of Legacy Scientific Code into OpenCL for Optimal Performance on FPGAs
有大量的传统科学代码是用Fortran等语言编写的,这些代码没有经过优化,无法从GPU和FPGA等异构加速设备中获得最佳性能,手动将这些代码移植到OpenCL等并行语言框架中需要付出相当大的努力。我们正在努力开发一个交钥匙,自我优化的编译器,以加速科学应用,可以自动将遗留代码转换为异构目标的解决方案。在本文中,我们专注于FPGA作为加速设备,并进行我们的讨论的情况下,OpenCL编程框架。我们展示了一条自动创建内核的路线,这些内核以“流”方式进行了优化,从而在FPGA上实现了最佳性能。我们使用一个二维浅水模型作为说明,具体来说,我们展示了如何使用\emph{channels}直接对等内核之间的通信和使用片上内存创建模板缓冲区可以导致显着的性能改善。我们的研究结果表明,FPGA性能更好的基准CPU实现,更好的能源效率对CPU和GPU的实现。
2019-01-24 cs.DC cs.PF
PRAGMA: A Profiling-Reasoned Multi-Agent Framework for Automatic Kernel Optimization
School of Computer Science and Engineering(计算机科学与工程学院)
PRAGMA通过整合执行反馈和硬件剖析,利用AI生成高性能内核,实现比现有方法更优的性能提升。
2025-11-24 cs.AI cs.DC
CROSSBOW: Scaling Deep Learning with Small Batch Sizes on Multi-GPU Servers
Imperial College London(帝国理工学院);Microsoft Research(微软研究院);Humboldt-Universität zu Berlin(柏林洪堡大学)
深度学习模型在具有许多GPU的服务器上训练,并且训练必须随着GPU的数量而扩展。TensorFlow和Caffe 2等系统使用并行同步随机梯度下降来训练模型:它们一次处理一批训练数据,在GPU之间进行分区,并对产生的部分梯度进行平均,以获得更新的全局模型。为了充分利用所有GPU,系统必须增加批量大小,这会阻碍统计效率。用户调整超参数,如学习率,以补偿这一点,这是复杂的和特定于模型的。我们描述了CROSSBOW,这是一种用于训练深度学习模型的新的单服务器多GPU系统,使用户能够自由选择他们喜欢的批量大小-无论多么小-同时扩展到多个GPU。CROSSBOW使用许多并行模型副本,并通过一种新的同步训练方法避免了统计效率的降低。我们引入SMA,模型平均的同步变体,其中副本独立地探索解空间与梯度下降,但调整其搜索同步的基础上的全局一致的平均模型的轨迹。CROSSBOW通过在每个GPU上训练多个模型副本,自动调整副本数量以最大化吞吐量,从而在小批量的情况下实现高硬件效率。我们的实验表明,与TensorFlow相比,CROSSBOW将深度学习模型在8 GPU服务器上的训练时间缩短了1.3- 4倍。
2019-01-08 cs.DC cs.LG
Best bang for your buck: GPU nodes for GROMACS biomolecular simulations
分子动力学模拟包GROMACS可以在从商用工作站到高性能计算集群的各种硬件上高效运行。硬件功能通过SIMD、多线程和基于MPI的SPMD/MPMD并行性的组合得到了很好的利用,而GPU可以用作加速器来计算从CPU卸载的交互。在这里,我们评估哪种硬件以最经济的方式使用GROMACS 4.6或5.0生成轨迹。我们已经组装了具有各种CPU/GPU组合的计算节点并对其进行了基准测试,以确定原始轨迹生产率,性能价格比,能源效率和其他几个标准方面的最佳组合。虽然硬件价格自然会受到趋势和波动的影响,但总的趋势是显而易见的。添加任何类型的GPU都可以显著提升节点的模拟性能。对于廉价的消费级GPU,这种改进同样反映在性能价格比上。虽然消费级GPU中的内存问题可能会被忽视,因为这些卡不支持ECC内存,但不可靠的GPU可以通过内存检查工具进行分类。除了硬件费用和原始性能等成本效益的明显决定因素外,节点的能耗是一个主要的成本因素。在典型的硬件寿命期间,直到几年的更换,用于电力和冷却的成本可能变得大于硬件本身的成本。考虑到这一点,CPU和消费级GPU资源比例平衡的节点在其生命周期内产生最大量的GROMACS轨迹。
2015-07-03 cs.DC cs.PF physics.bio-ph
A Precision Emulation Approach to the GPU Acceleration of Ab Initio Electronic Structure Calculations
Texas Advanced Computing Center, The University of Texas at Austin(德克萨斯大学奥斯汀分校高级计算中心);Pittsburgh Computing Center, Carnegie Mellon University(卡内基梅隆大学匹兹堡计算中心)
本文通过SCILIB-Accel工具在MuST套件的LSMS CPU应用中实现FP64矩阵乘法的INT8仿真,展示了通过可调精度仿真的方法在保持算法原貌的同时优化硬件利用率,提升准确性和性能。
2026-03-31 cs.DC cs.PF physics.comp-ph
ENOVA: Autoscaling towards Cost-effective and Stable Serverless LLM Serving
EmergingAI(新兴人工智能公司);Exascale Labs(亿级规模实验室)
针对多GPU集群上无服务器LLM服务因应用混部导致的服务质量与GPU利用率低的问题,提出ENOVA服务,通过解构执行流程设计配置推荐、性能检测模块及部署执行引擎,实现更优的自动扩缩容效果,适用于大型在线系统。
2024-05-17 cs.AI cs.DC
A mechanism for balancing accuracy and scope in cross-machine black-box GPU performance modeling
对计算的执行时间进行建模、分析和预测的能力是支持诸如负载均衡、性能优化和用于高性能并行应用的自动化性能调优等众多努力的重要构建块。在当今日益异构的计算环境中,这项任务必须在多个架构中有效地完成,包括像GPU这样的大规模并行协处理器。为了应对这一挑战,我们提出了一种方法来构建可定制的,跨机器的GPU内核的性能模型,包括一个机制,自动和象征性地收集性能相关的内核操作计数,一个工具,制定数学模型使用这些计数,和一个可定制的参数化集合的基准内核用于校准模型的GPU在黑盒的方式。我们的方法使用户能够管理模型的准确性,评估速度和可推广性之间的权衡。用户可以定义模型并自定义校准过程,使其根据需要简单或复杂,并根据需要针对应用或通用。为了评估我们的方法,我们演示了线性和非线性模型;每个示例都为特定计算的多个变体的执行时间建模:两个矩阵乘法变体,四个不连续Galerkin(DG)微分运算变体和两个2-D五点有限差分模板变体。对于每种变体,我们提供了来自多个供应商和硬件代的GPU的准确性结果。我们认为这种可定制的方法是对GPU性能建模中一个核心问题的回应:我们如何以成本解释的方式对GPU性能进行建模,同时保持准确性,评估速度,可移植性和易用性,我们认为这一属性排除了手动收集内核或硬件统计数据。
2020-06-19 cs.DC cs.PF
EasyASR: A Distributed Machine Learning Platform for End-to-end Automatic Speech Recognition
Alibaba Group(阿里巴巴集团)
EasyASR是一个分布式机器学习平台,用于训练和服务大规模自动语音识别(ASR)模型,以及大规模收集和处理音频数据。我们的平台基于阿里云的人工智能机器学习平台。它的主要功能是支持分布式GPU集群上端到端ASR模型的有效学习和推理。它允许用户通过简单的用户界面学习具有预定义或用户自定义网络架构的ASR模型。在EasyASR上,我们已经在几个公共数据集上为普通话语音识别产生了最先进的结果。
2020-10-24 cs.AI cs.CL cs.DC
Bringing Together Dynamic Geometry Software and the Graphics Processing Unit
我们为动态几何软件(DGS)配备了一种用户友好的方法,可以在图形处理单元(GPU)上进行大规模并行计算。DGS和GPU的这种相互作用在教育和数学研究中开辟了各种应用。GPU辅助的数学属性发现,代数曲面的交互式可视化(光线投射),实时图像和镜头的数学变形,以及PDE的计算要求高的数值模拟,这些都是我们的方法在DGS中可以访问的新领域的长而多功能列表中的例子。我们简化了复杂(数学)可视化的开发,并为通用计算(GPGPU)提供了快速原型方案。仅使用一种高级(脚本)程序设计语言对CPU和GPU进行编程的可能性是我们概念的一个重要方面。我们将着色器编程无缝地嵌入到高级(脚本)编程环境中。上述需要的高级程序设计语言到GPU的着色器程序设计语言的transcompilation的符号过程,在这篇文章中,我们解决了一个高级程序设计语言的GPU的着色器语言的自动翻译的挑战。为了保持平台独立性和在现代设备上使用我们的技术的可能性,我们专注于通过WebGL实现。
2018-08-14 cs.DC cs.MS cs.SC