DanLing NestedTensor: Composable Multi-Ragged Tensors for Deep Learning
DanLing Team(丹灵团队)
提出DanLing NestedTensor张量抽象,将多参差结构内建于张量本身,支持广播、变换和归约,在A100上实现2.74-3.39倍加速,峰值分配从38.08降至5.41 GiB。
2026-09-28 cs.AI cs.LG cs.PF
Online Evolutionary Batch Size Orchestration for Scheduling Deep Learning Workloads in GPU Clusters
National University of Singapore(新加坡国立大学);ByteDance(字节跳动)
高效的GPU资源调度对于最大限度地提高资源利用率和节省训练成本至关重要,因为共享GPU集群中的深度学习工作负载量不断增加。现有的GPU处理器在很大程度上依赖于静态策略来利用深度学习作业的性能特征。然而,由于缺乏弹性,它们很难达到最佳效率。为了解决这个问题,我们提出了ONES,一个在线进化的弹性批量编排。ONES根据训练批量大小自动管理每个作业的弹性,从而最大化GPU利用率,提高调度效率。它通过在线进化搜索确定每个作业的批量大小,可以不断优化调度决策。我们评估的有效性与64 GPU的TACC的长角超级计算机上的ONES。结果表明,ONES可以以显著更短的平均作业完成时间胜过之前的深度学习算法。
2021-08-08 cs.AI cs.DC cs.LG
Tensor Processing Primitives: A Programming Abstraction for Efficiency and Portability in Deep Learning & HPC Workloads
Intel Corporation(英特尔公司);Friedrich-Schiller–Universität Jena(耶拿弗里德里希·席勒大学)
在过去的十年中,新的深度学习(DL)算法、工作负载和硬件已经被开发出来,以解决各种各样的问题。尽管工作负载和硬件生态系统取得了进步,但DL系统的编程方法仍然停滞不前。DL工作负载利用DL库中高度优化、但特定于平台且不灵活的内核,或者对于新型运算符,参考实现通过DL框架原语构建,性能不佳。这项工作引入了张量处理基元(TPP),这是一种编程抽象,致力于高效、可移植地实现DL工作负载并提高生产力。TPP定义了一组紧凑而通用的2D张量算子(或虚拟张量ISA),随后可以用作构建块来构建高维张量上的复杂算子。TPP规范是平台无关的,因此通过TPP表达的代码是可移植的,而TPP实现是高度优化的和特定于平台的。我们使用独立内核和完全通过TPP表达的端到端DL和HPC工作负载来证明我们方法的有效性和可行性,这些工作负载在多个平台上的性能优于最先进的实现。
2021-11-30 cs.AI
Proceedings of 3rd Workshop on Heterogeneous Composable and Disaggregated Systems
本文介绍第三届HCDS研讨会,聚焦异构可组合分解系统如何通过资源池化与动态组合减少资源供需失衡,并探索其与操作系统及运行时集成以提升工作负载收益。
2024-04-22 cs.DC
Prediction of GPU Failures Under Deep Learning Workloads
The Pennsylvania State University(宾夕法尼亚州立大学);ByteDance(字节跳动);Northeastern University(东北大学)
图形处理单元(GPU)是处理深度学习(DL)任务的事实标准。与此同时,不可避免的GPU故障会在DL任务中造成严重后果:它们会中断分布式训练,崩溃推理服务,并导致违反服务级别协议。为了减轻GPU故障引起的问题,我们建议使用ML模型来预测故障。本文是第一篇研究大规模生产深度学习工作负载下GPU故障预测模型的论文。首先,我们评估了经典的预测模型,并观察到这些模型的预测既不准确又不稳定。为了提高预测的精度和稳定性,我们提出了几种技术,包括并行和级联模型集成机制和滑动训练方法。我们评估了我们的各种技术在四个月的生产数据集,包括3.5亿个条目的性能。结果表明,该方法将预测精度从46.3%提高到84.0%。
2022-01-27 cs.AI cs.LG
Multimodal Deep Learning for ATCO Command Lifecycle Modeling and Workload Prediction
针对ATCO指令生命周期中指令与飞机机动的时间偏移及指令持续时间估计问题,提出整合多模态数据的CNN-Transformer集成模型,构建高质量数据集并实现准确预测,为智能指令生成及工作负荷管理提供支持。
2025-09-04 cs.AI cs.CV cs.LG
DeepContext: A Context-aware, Cross-platform, and Cross-framework Tool for Performance Profiling and Analysis of Deep Learning Workloads
North Carolina State University(北卡罗来纳州立大学);George Mason University(乔治梅森大学)
本文提出DeepContext,一种跨平台、跨框架的深度学习性能剖析工具,通过关联程序上下文和自动化分析,帮助用户快速识别并优化性能瓶颈。
2024-11-05 cs.AI cs.PF
Value Function Based Performance Optimization of Deep Learning Workloads
Facebook AI Research(Facebook人工智能研究院);Facebook(脸书)
随着机器学习技术变得无处不在,神经网络实现的效率相应地变得至关重要。Halide和TVM等框架将网络的算法表示与确定其实现的时间表分开。然而,找到一个好的时间表仍然是非常具有挑战性的。我们将此调度问题建模为一系列优化选择,并提出了一种新的技术来准确地预测部分时间表的预期性能。通过利用这些预测,我们可以做出这些优化决策,并迅速确定一个有效的时间表。这使我们能够找到将深度神经网络的吞吐量提高到Halide的2.6倍和TVM的1.5倍的调度。此外,我们的技术比这些工具快两到三个数量级,并且在几秒钟而不是几小时内完成。
2020-11-30 cs.AI cs.LG
Dataflow-Aware PIM-Enabled Manycore Architecture for Deep Learning Workloads
Washington State University(华盛顿州立大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
本文针对深度学习工作负载,提出数据流感知的PIM众核架构设计原则,强调片上通信与ReRAM计算资源的协同优化,并探讨2.5D与3D集成方案下的设计挑战。
2024-03-28 cs.AI cs.AR cs.ET
The Big Send-off: Scalable and Performant Collectives for Deep Learning
本文提出PCCL库,通过学习驱动的自适应算法选择,提升深度学习分布式任务中all-gather、reduce-scatter和all-reduce的性能,实现在Frontier系统上reduce-scatter性能提升达168倍,Perlmutter上NCCL性能提升达5.7倍。
2026-03-15 cs.AI cs.DC cs.LG
Workload Forecasting of a Logistic Node Using Bayesian Neural Networks
目的:空集装箱库的运输量因外界因素而大幅波动。预测预期的集装箱卡车运输量以及具有一个动态模块来预测未来的工作量在提高工作效率方面起着至关重要的作用。本文在研究相关文献的基础上,针对上述问题设计了一个预测模型。方法学:利用贝叶斯神经网络建立了集装箱空场集卡小时工作量和交通量的预测模型。此外,本文用不同特征的数据集进行实验,以评估模型对不同数据源的预测范围。结果:一个空集装箱仓库的真实数据被用来开发一个预测模型,并在以后验证模型的能力。研究结果表明,该模型的性能的有效性,并提供了一个有效的交通和工作量规划系统的问题的空箱堆场的基础。独创性:本文提出了一种基于贝叶斯深度学习的预测模型,使用真实世界的数据的交通和工作量的空箱仓库。该预测模型的设计和实现为集装箱卡车运输中的每一个参与者提供了一个优化工作量的解决方案。
2022-11-09 cs.AI
Identification of Cognitive Workload during Surgical Tasks with Multimodal Deep Learning
Imperial College London(伦敦帝国学院);Oxford Brookes University(牛津布鲁克斯大学)
手术室(OR)是一个动态而复杂的环境,由多学科团队组成,在高需求环境中共同工作,以提供安全有效的患者护理。此外,外科医生经常暴露于多种心理组织压力源,这可能会对他们的直接技术表现和长期健康造成负面影响。因此,许多因素都可能导致认知障碍(CWL)增加,例如时间压力、不熟悉的解剖结构或手术室中的分心。在本文中,级联的两个机器学习的方法,建议在四个不同的手术任务条件下的CWL的多模态识别。首先,使用基于迁移学习概念的模型来识别外科医生是否正在经历任何CWL。其次,卷积神经网络(CNN)使用该信息来识别与每个手术任务相关联的不同程度的CWL。建议的多模态方法考虑相邻的信号从脑电图(EEG),功能性近红外光谱(fNIRS)和瞳孔直径。信号的级联允许在时间(时间)和信道位置(空间)方面的复杂相关性。数据汇集由伦敦帝国理工学院哈姆林中心开发的多传感人工智能手术任务和角色优化环境平台(MAESTRO)进行。为了比较所提出的方法的性能,已经实现了一些最先进的机器学习技术。试验表明,该模型的预测精度达到93%.
2022-09-30 cs.AI cs.HC cs.LG
Adaptive Deep Learning for Entity Resolution by Risk Analysis
Northwestern Polytechnical University(西北工业大学)
深度学习在实体解析(ER)方面取得了最先进的性能。然而,深度模型通常是在大量准确标记的训练数据上训练的,并且不能容易地针对目标工作负载进行调整。不幸的是,在实际场景中,可能没有足够的标记训练数据,甚至更糟的是,它们的分布通常与目标工作负载或多或少不同,即使它们来自相同的域。为了缓解上述限制,本文提出了一种新的基于风险的方法,通过其特定的特征将深度模型调整到目标工作负载。基于ER风险分析的最新进展,所提出的方法首先在标记的训练数据上训练深度模型,然后通过最小化未标记目标数据上的估计误预测风险来对其进行微调。我们的理论分析表明,基于风险的自适应训练可以纠正一个错误预测的实例的标签状态有相当好的机会。我们还通过比较研究,在真实基准数据上实证验证了所提出方法的有效性。我们的大量实验表明,它可以大大提高深度模型的性能。此外,在分布未对准的情况下,它可以类似地以相当大的幅度优于最先进的迁移学习替代方案。使用ER作为测试案例,我们证明了基于风险的自适应训练是一种很有前途的方法,可能适用于各种具有挑战性的分类任务。
2022-04-10 cs.AI cs.DB cs.LG
TensorFlow Distributions
Google(谷歌);Columbia University(哥伦比亚大学)
TensorFlow Distributions库实现了概率论的愿景,适用于端到端可微计算的现代深度学习范式。基于两个基本抽象,它为概率计算提供了灵活的构建块。分布为生成样本和计算统计量提供了快速、数值稳定的方法,例如,对数密度双射器提供了可组合的卷跟踪转换和自动缓存。这些一起使得能够模块化地构建高维分布和转换,这在以前的库中是不可能的(例如,pixelCNN、自回归流和可逆残差网络)。它们是像Edward这样的深度概率编程系统背后的主力,并在基于深度网络组件的概率模型中实现快速黑盒推理。TensorFlow Distributions已被证明是Google和更广泛的深度学习社区中TensorFlow工具包的重要组成部分。
2017-11-28 cs.AI cs.LG cs.PL
Modeling cognitive load as a self-supervised brain rate with electroencephalography and deep learning
Technological University Dublin(都柏林理工大学)
测量脑力负荷的主要原因是量化执行任务的认知成本,以预测人类的表现。遗憾的是,目前还没有一种具有普遍适用性的心理负荷评估方法。这项研究提出了一种新的自我监督方法,用于从EEG数据中进行心理工作负荷建模,该方法采用深度学习和连续的大脑速率,这是一种认知激活指数,而不需要人类陈述性知识。该方法是一种卷积递归神经网络,可以用来自EEG数据的空间保留谱地形头部图来训练,以拟合大脑速率变量。研究结果表明,卷积层能够从EEG数据中学习有意义的高级表示,因为受试者内模型的测试平均绝对百分比误差平均值为11%。增加一个长短期记忆层来处理高级表示的序列并不重要,尽管它确实提高了它们的准确性。研究结果指出,认知激活的学习高级表征存在准稳定块,因为它们可以通过卷积诱导,并且随着时间的推移似乎不相互依赖,直观地匹配大脑反应的非平稳性质。跨学科的模型,从越来越多的参与者的数据,从而包含更多的变异性,获得了类似的准确性内的主题模型。这突出了潜在的普遍性的诱导高层次的代表性在人群中,这表明存在独立于主体的认知激活模式。这项研究为学者提供了一种新的计算方法,用于心理工作负荷建模,旨在普遍适用,不依赖于支持可复制性和可证伪性的特设人工模型,从而为知识体系做出了贡献。
2022-09-21 cs.AI cs.HC cs.LG
ScalePool: Hybrid XLink-CXL Fabric for Composable Resource Disaggregation in Unified Scale-up Domains
Panmnesia, Inc.(潘内米亚公司)
ScalePool提出统一XLink-CXL混合架构,实现可组合资源解聚,通过分层内存策略将LLM训练加速最高1.84倍,内存密集型延迟降低4.5倍。
2025-10-16 cs.DC
GPU Domain Specialization via Composable On-Package Architecture
NVIDIA(英伟达)
随着GPU扩展其低精度矩阵数学吞吐量以提高深度学习(DL)性能,它们打破了数学吞吐量和内存系统功能之间的平衡。我们证明,融合的GPU设计试图解决基于FP 32(或更大)的HPC和基于FP 16(或更小)的DL工作负载之间的不同架构要求,导致两个应用程序域的次优配置。我们认为,一个可组合的封装GPU(COPAGPU)架构,提供域专用的GPU产品是最实际的解决方案,这些不同的要求。COPA-GPU利用多芯片模块分解来支持最大的设计重用,以及每个应用领域的存储器系统专业化。我们展示了COPA-GPU如何通过对基本GPU架构进行模块化增强来实现DL专用产品,使其具有高达4倍的管芯外带宽、32倍的封装内高速缓存、2.3倍的DRAM带宽和容量,同时方便地支持面向HPC的小型设计。这项工作探讨了实现可组合GPU所需的微架构设计,并评估了可组合性可以为HPC,DL训练和DL推理提供的好处。我们发现,与融合GPU设计相比,DL优化的COPA-GPU具有16倍的缓存容量和1.6倍的DRAM带宽,可将每GPU训练和推理性能分别扩展31%和35%,并将横向扩展训练场景中的GPU实例数量减少50%。
2021-04-05 cs.AR cs.DC cs.LG
Resource Allocation and Workload Scheduling for Large-Scale Distributed Deep Learning: A Survey
Artificial Intelligence Research Institute, Shenzhen MSU-BIT University(深圳北理莫斯科大学人工智能研究院);Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing, Shenzhen MSU-BIT University(深圳北理莫斯科大学粤港澳情感智能与普适计算联合实验室);School of Information Science and Engineering, Lanzhou University(兰州大学信息科学与工程学院);Department of Electrical and Computer Engineering, The University of British Columbia(不列颠哥伦比亚大学电气与计算机工程系)
该综述系统梳理2019–2024年大规模分布式深度学习在训练与推理中的资源分配和工作负载调度研究,分析资源类型、调度粒度、性能目标、异构性与容错等挑战,并以大语言模型训练为例展望未来方向。
2024-06-12 cs.AI cs.DC
AutoAccel: Automated Accelerator Generation and Optimization with Composable, Parallel and Pipeline Architecture
CPU-FPGA异构架构正吸引着越来越多的关注,试图提高当今计算机的计算能力和能源效率。这些架构为程序员提供了重新编程FPGA的能力,以灵活地加速许多工作负载。然而,这种优势往往被FPGA的可编程性差所掩盖,FPGA的编程通常是RTL设计实践。虽然高级综合(HLS)的最新进展显着提高了FPGA的可编程性,它仍然让程序员面临的挑战,确定最佳的设计配置在一个巨大的设计空间。本文旨在应对这一挑战,并为从软件程序到高质量FPGA加速器铺平道路。具体来说,我们首先提出了组合,并行和流水线(CPP)的微架构作为加速器设计的模板。这样一个定义良好的模板是能够支持高效的加速器设计的广泛类的计算内核,更重要的是,大大减少了设计空间。此外,我们引入了一个分析模型,以捕捉性能和资源之间的权衡不同的设计配置的CPP微架构,这奠定了基础,快速设计空间探索。在CPP微架构及其分析模型的基础上,我们开发了AutoAccel框架,使整个加速器生成自动化。AutoAccel接受软件程序作为输入,并根据基于分析模型的设计空间探索的结果执行一系列代码转换,以构建所需的CPP微体系结构。我们的实验表明,对于广泛的一类计算内核,Autocom生成的加速器的平均性能超过其相应的软件实现72倍。
2018-07-30 cs.AR cs.DC
Singularity: Planet-Scale, Preemptive and Elastic Scheduling of AI Workloads
Microsoft(微软)
通过推动深度学习工作负载的高利用率来降低成本是云提供商的关键杠杆。我们介绍了Singularity,这是微软的全球分布式调度服务,用于高效可靠地执行深度学习训练和推理工作负载。Singularity的核心是一种新颖的工作负载感知调度器,可以透明地抢占和弹性地扩展深度学习工作负载,以提高利用率,而不会影响其正确性或性能,跨全球人工智能加速器(例如,GPU、FPGA)。默认情况下,Singularity中的所有作业都是可抢占的,可迁移的,并且可以动态调整大小(弹性):实时作业可以动态和透明地(a)抢占并迁移到不同的节点,集群,数据中心或区域集合,并从执行被抢占的点恢复,以及(b)调整大小(即,弹性地按比例放大/缩小)。我们的机制是透明的,因为它们不需要用户对其代码进行任何更改,也不需要使用任何可能限制灵活性的自定义库。此外,我们的方法显著提高了深度学习工作负载的可靠性。我们表明,由此产生的效率和可靠性增益与奇异性的稳态性能的影响可以忽略不计。最后,我们的设计方法与DNN架构无关,并处理各种并行策略(例如,数据/流水线/模型并行)。
2022-02-21 cs.AI cs.DC
Auto-MAP: A DQN Framework for Exploring Distributed Execution Plans for DNN Workloads
Alibaba Group(阿里巴巴集团)
在过去的十年中,训练深度神经网络的计算需求不断增长。目前的办法(例如,数据/模型并行性、流水线并行)将训练任务并行化到多个设备上。然而,这些方法总是依赖于特定的深度学习框架,并且需要精心的手动设计,这使得难以在不同类型的模型之间进行维护和共享。在本文中,我们提出了Auto-MAP,一个用于探索DNN工作负载的分布式执行计划的框架,它可以通过深度学习模型的IR级别上的强化学习自动发现快速并行化策略。有效的探索仍然是强化学习的主要挑战。我们利用DQN与特定任务的修剪策略,以帮助有效地探索搜索空间,包括优化的策略。我们的评估表明,Auto-MAP可以在两个小时内找到最佳解决方案,同时在几个NLP和卷积模型上实现更好的吞吐量。
2020-07-08 cs.AI cs.DC
EsDNN: Deep Neural Network based Multivariate Workload Prediction Approach in Cloud Environment
云计算通过为服务提供商和客户提供利益而被认为是IT行业的成功范例。尽管有这些优势,但云计算也面临着不同的挑战,其中之一就是为动态工作负载提供低效的资源。云计算的准确工作负载预测可以支持高效的资源供应并避免资源浪费。然而,由于云工作负载的高维和高可变性,很难有效和准确地预测工作负载。目前云计算工作负载预测的主要工作是基于回归方法或递归神经网络,这些方法无法捕获工作负载的长期变化。为了应对挑战并克服现有工作的局限性,我们提出了一种用于云工作负载预测的高效的基于监督学习的深度神经网络(esDNN})方法。首先,我们利用滑动窗口将多变量数据转换为监督学习时间序列,允许深度学习进行处理。然后,我们应用一个修正的门控递归单元(GRU),以实现准确的预测。为了证明esDNN的有效性,我们还基于来自阿里巴巴和谷歌云数据中心的真实痕迹进行了全面的实验。实验结果表明,esDNN可以准确有效地预测云负载。与最先进的基线相比,esDNN可以显著降低均方误差,例如,比仅使用GRU的方法降低15%。我们还将esDNN应用于机器自动伸缩,这表明esDNN可以有效地减少活动主机的数量,从而优化服务提供商的成本。
2022-03-05 cs.DC
MuxFlow: Efficient and Safe GPU Sharing in Large-Scale Production Deep Learning Clusters
大规模GPU集群被广泛用于加速延迟关键型(在线)和尽力而为型(离线)深度学习(DL)工作负载。然而,大多数DL集群要么将每个GPU专用于一个工作负载,要么及时共享工作负载,导致GPU资源利用率非常低。我们提出了MuxFlow,第一个生产集群系统,支持DL工作负载的高效和安全的空间共享。NVIDIA MPS提供了在广泛部署的NVIDIA GPU上共享空间中的多个工作负载的机会,但它无法保证在线工作负载的性能和安全性。MuxFlow为内存和计算引入了两级保护机制,以保证在线工作负载的性能。基于我们的实际错误分析,我们设计了一个混合的错误处理机制,以保证在线工作负载的安全性。MuxFlow进一步提出了动态流式多处理器(SM)分配和基于匹配的调度,以提高离线工作负载的效率。MuxFlow已经部署在CompanyX的集群中,拥有超过20,000个GPU。部署结果表明,MuxFlow将GPU利用率从26 $\%$大幅提高到76 $\%$,SM活动从16 $\%$提高到33 $\%$,GPU内存从42 $\%$提高到48 $\%$。
2023-03-24 cs.DC
Game-Theoretic Deep Reinforcement Learning to Minimize Carbon Emissions and Energy Costs for AI Inference Workloads in Geo-Distributed Data Centers
Hewlett Packard Labs(慧与实验室);Colorado State University(科罗拉多州立大学)
本文提出博弈论深度强化学习(GT-DRL)方法,通过将非合作博弈论融入DRL框架,优化地理分布式数据中心AI推理工作负载分配,在保证计算性能的同时有效降低碳排放和云运营成本。
2024-04-01 cs.AI cs.DC cs.LG
Evaluating Emerging CXL-enabled Memory Pooling for HPC Systems
当前的HPC系统提供静态配置并与计算节点紧密耦合的存储器资源。然而,HPC系统上的工作负载正在不断发展。不同的工作负载导致需要可配置的内存资源来实现高性能和高利用率。在这项研究中,我们评估的内存子系统设计利用CXL启用内存池。研究了组合存储器子系统的两个有前途的用例-细粒度容量供应和可扩展带宽供应。我们开发了一个模拟器来探索各种内存组合对性能的影响。我们还提供了一个分析器来识别应用程序中的内存使用模式及其优化机会。七个科学和六个图形应用程序进行评估各种模拟内存配置。当池内存支持75%的内存占用时,七分之三的科学应用程序的性能影响小于10%。结果还表明,动态配置的高带宽系统可以有效地支持带宽密集型的非结构化网格为基础的应用程序,如OpenFOAM。最后,我们确定通过共享内存池作为一个实际的挑战,采用HPC系统的干扰。
2022-11-04 cs.DC
Characterizing Concurrency Mechanisms for NVIDIA GPUs under Deep Learning Workloads
Worcester Polytechnic Institute(伍斯特理工学院)
我们研究了NVIDIA新的Ampere GPU微架构在深度学习训练和推理工作负载下可用的并发机制的性能。与以前的研究,把GPU作为一个黑盒子,我们研究调度在微架构的水平。我们发现,缺乏细粒度的抢占机制,强大的任务优先级选项,竞争意识线程块放置策略限制了NVIDIA的并发机制的有效性。总之,深度学习工作负载的顺序性及其波动的资源需求和内核运行时,使得在当前NVIDIA硬件上执行此类工作负载,同时保持一致的高利用率和较低的可预测周转时间变得困难。
2021-10-01 cs.AR cs.DC cs.LG
Tally: Non-Intrusive Performance Isolation for Concurrent Deep Learning Workloads
针对 GPU 共享中性能隔离不足的问题,提出非侵入式机制 Tally,通过细粒度线程块级内核调度实现强隔离,开销仅 7.2%,优于 TGS 的 188.9%,吞吐量达其 80% 以上。
2025-02-28 cs.DC
Workload-aware Automatic Parallelization for Multi-GPU DNN Training
深度神经网络(DNN)已经成为各种人工智能应用的成功解决方案,但其非常大且深度的模型在训练期间对计算要求很高。多GPU并行化是DNN训练中加速高要求计算的一种流行选择,但大多数最先进的多GPU深度学习框架不仅要求用户深入了解框架本身的实现,而且还要求用户在不优化GPU利用率的情况下直接应用并行化。在这项工作中,我们提出了一个用于DNN训练的工作负载感知自动并行化框架(WAP),其中工作根据工作负载特性自动分配到多个GPU。我们使用流行的DNN基准测试(AlexNet和VGG-16)使用TensorFlow评估WAP,并与最先进的框架相比显示出具有竞争力的训练吞吐量,并证明WAP可以根据工作负载的计算要求自动优化GPU分配,从而提高能源效率。
2019-02-07 cs.DC
Performance Analysis of Deep Learning Workloads on Leading-edge Systems
Brookhaven National Laboratory(布鲁克海文国家实验室)
这项工作研究了为机器学习计算而设计的领先系统的性能,包括NVIDIA DGX-2、Amazon Web Services(AWS)P3、IBM Power System Accelerated Compute Server AC 922和消费级Exxact TensorEX TS 4 GPU服务器。来自计算机视觉和自然语言处理领域的代表性深度学习工作负载是分析的重点。性能分析与一些重要的维度一起进行。考虑了通信互连和大型高吞吐量深度学习模型的性能。还检查了系统作为独立和在云中的不同潜在使用模型。分析中包括对深度学习模型和系统配置的各种优化的效果。
2019-10-01 cs.DC cs.LG cs.PF
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近,深度学习一直是一个激烈的研究领域。然而,作为一种计算密集型任务,深度学习高度依赖于GPU内存的规模,这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作,但是它们难以应用于具有多个动态工作负载的系统,例如数据库内机器学习系统。在本文中,我们展示了TENSILE,一种在张量粒度下管理GPU内存的方法,以降低GPU内存峰值,考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile,并对其性能进行了评估。实验结果表明,在单负载和多负载的动态环境下,TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
Blox: A Modular Toolkit for Deep Learning Schedulers
针对深度学习调度策略原型构建难、跨技术整合与对比评估难的问题,研究提出模块化工具包Blox,提炼核心抽象复现现有调度器并验证保真度,支持多场景调度评估与低代码扩展新型策略。
2023-12-19 cs.DC
Deep Reinforcement Agent for Scheduling in HPC
Illinois Institute of Technology(伊利诺伊理工学院);Argonne National Laboratory(阿贡国家实验室);Northern Illinois University(北伊利诺伊大学)
集群调度器是高性能计算中的关键技术。它决定何时以及哪些用户作业应该分配给可用的系统资源。现有的集群调度算法是由人类专家根据他们对特定HPC系统和工作负载的经验开发的。然而,计算系统的日益复杂性和应用程序工作负载的高度动态性给手动设计和调整的调度算法带来了巨大的负担。HPC中的集群调度需要更积极的优化和自动化。在这项工作中,我们提出了一个自动化的HPC调度代理DRAS(深度强化代理调度),利用深度强化学习。DRAS是建立在一个新的,分层的神经网络纳入特殊的HPC调度功能,如资源预留和调度。提出了一种独特的训练策略,使DRAS能够快速学习目标环境。一旦系统管理员给出了一个特定的调度目标,DRAS自动学习,以改善其政策,通过与调度环境的互动,并动态调整其政策的工作负载的变化。不同生产负载的实验表明,DRAS优于现有的启发式和优化方法高达45%。
2021-04-19 cs.AI cs.DC cs.LG
COMPASS-ABS: Reducing Fragmentation in Shared GPU Clusters for Deep Learning Training Workloads
针对共享GPU集群资源碎片化问题,提出基于部分节点度量的SIF指标和COMPASS-ABS调度算法,通过锚点空间限制集群状态,在理论与生产条件下保证SIF有界,实验验证能提高利用率并缩短作业完成时间。
2026-09-17 cs.DC cs.LG
When Does Deep RL Beat Calibrated Baselines? A Benchmark Study on Adaptive Resource Control
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学)
通过RLScale-Bench基准测试,发现校准的基于规则的自动缩放器在所有工作负载上成本均低于六种主流深度强化学习算法,并揭示了算法选择、基线校准和评估协议的关键瓶颈。
2026-06-16 cs.AI cs.DC cs.LG
AVEC: Accelerator Virtualization in Cloud-Edge Computing for Deep Learning Libraries
边缘计算提供了一个独特的优势,即利用位于网络边缘的资源上的计算能力来运行相对较弱的用户设备的工作负载。这是通过将计算密集型工作负载(例如深度学习)从用户设备卸载到边缘来实现的。使用边缘减少了应用程序的整体通信延迟,因为工作负载可以在更靠近用户设备上生成数据的地方进行处理,而不是将它们发送到地理上遥远的云。专用硬件加速器,如云边缘网络中可用的图形处理单元(GPU),可以增强从设备卸载到边缘的计算密集型工作负载的性能。促进这一点所需的底层方法是GPU的虚拟化。因此,本文着手研究GPU加速器虚拟化在云边缘环境中提高深度学习工作负载性能的潜力。AVEC加速器虚拟化框架的建议,招致最小的开销,不需要源代码修改的工作负载。AVEC拦截对设备上GPU的本地调用,并将其无缝转发到边缘资源。AVEC的可行性在现实世界的应用程序上得到了证明,即使用Caffe深度学习库的OpenPose。据观察,在基于实验室的实验测试台上,AVEC提供了高达7.48倍的加速,尽管由于数据传输而产生的通信开销。
2021-03-08 cs.DC cs.NI
Heterogeneity-Aware Cluster Scheduling Policies for Deep Learning Workloads
GPU、TPU、FPGA和定制ASIC等专用加速器已越来越多地部署用于训练深度学习模型。这些加速器在模型架构中表现出异构的性能行为。用于加速器集群的现有算法,用于在许多用户之间仲裁这些昂贵的培训资源,已经展示了如何优化各种多任务,多用户目标,如公平性和完工时间。不幸的是,现有的性能分析器在很大程度上没有考虑性能异质性。在本文中,我们提出了Gavel,一个异构性感知调度系统,广泛的现有的调度策略。Gavel将这些策略表示为优化问题,使得以异构感知的方式为目标进行优化变得容易,同时也认识到了空间共享等性能优化。然后,Gavel使用基于轮的调度机制来确保作业在给定目标调度策略的情况下获得理想的分配。Gavel的异构感知策略允许异构集群维持更高的输入负载,并将最终目标(如平均作业完成时间和完工时间)提高到异构不可知策略的3.5倍。
2020-08-20 cs.DC
Optimized Broadcast for Deep Learning Workloads on Dense-GPU InfiniBand Clusters: MPI or NCCL?
密集多GPU系统最近在HPC领域获得了很多关注。传统上,MPI运行时主要是为具有大量节点的集群设计的。然而,随着MPI+CUDA应用程序和CUDA-Aware MPI运行时(如MVAPICH 2和OpenMPI)的出现,为这种密集的多GPU节点解决有效的通信方案变得非常重要。这与Caffe和Microsoft CNTK等深度学习框架带来的新应用程序工作负载相结合,由于训练阶段GPU缓冲区的消息通信量非常大,因此会带来额外的设计限制。在这种情况下,已经提出了像NVIDIA NCCL这样的专用库,用于在密集GPU系统上进行基于GPU的集体通信。在本文中,我们提出了一种用于MPI_Bcast集体操作的流水线链(环)设计,以及MVAPICH 2-GDR中的增强集体调优框架,该框架可以实现高效的节点内/节点间多GPU通信。我们为建议的MPI_Bcast方案提供了深入的性能前景,并对NVIDIA NCCL Broadcast和基于NCCL的MPI_Bcast进行了比较分析。与基于NCCL的解决方案相比,MVAPICH 2-GDR的拟议设计分别使节点内和节点间广播延迟提高了14倍和16.6倍。此外,所提出的设计提供了高达7%的改进,基于NCCL的解决方案的数据并行训练的VGG网络上的128个GPU使用Microsoft CNTK。
2017-07-28 cs.DC
SMAUG: End-to-End Full-Stack Simulation Infrastructure for Deep Learning Workloads
Harvard University(哈佛大学)
近年来,深度神经网络的硬件加速取得了巨大的进步。然而,大多数研究都集中在优化加速器微架构,以提高每层的性能和能效。我们发现,对于整个单批推理延迟,加速器可能只占25- 40%,其余部分用于数据移动和深度学习软件框架。到目前为止,在早期设计阶段(在RTL可用之前)研究端到端DNN性能非常困难,因为没有现有的DNN框架支持端到端仿真和轻松的自定义硬件加速器集成。为了解决研究基础设施中的这一差距,我们提出了SMAUG,这是第一个专门为模拟端到端深度学习应用而构建的DNN框架。SMAUG为研究人员提供了广泛的功能来评估DNN工作负载,从不同的网络拓扑到轻松的加速器建模和SoC集成。为了展示SMAUG的强大功能和价值,我们展示了案例研究,展示了我们如何在不改变加速器微架构的任何部分的情况下,优化整体性能和能效,使加速比达到基线系统的1.8- 5倍,并展示了SMAUG如何为相机供电的深度学习管道调整SoC。
2019-12-11 cs.DC cs.LG
Maya: Optimizing Deep Learning Training Workloads using GPU Runtime Emulation
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Inc.(英伟达公司)
针对大型基础模型训练优化中手动试错低效、现有性能建模系统存在语义鸿沟的问题,提出Maya通过GPU运行时仿真拦截API调用捕获完整工作负载行为,实现低误差预测并识别出可降低56%训练成本的配置。
2025-11-15 cs.DC cs.LG
A Deep Dive into the Google Cluster Workload Traces: Analyzing the Application Failure Characteristics and User Behaviors
本文深入分析 2019 Google Cluster Trace Dataset,揭示失败作业与用户行为特征,为早期作业故障预测和动态调度提供依据。
2023-08-04 cs.DC
SGPRS: Seamless GPU Partitioning Real-Time Scheduler for Periodic Deep Learning Workloads
针对实时 DNN 工作负载中 GPU 资源利用不足的问题,提出 SGPRS 调度器,通过零配置分区切换提升并行任务截止期限满足率并保持临界点后的整体性能。
2024-04-13 cs.DC cs.SE cs.SY
Transforming the Hybrid Cloud for Emerging AI Workloads
IBM Research(IBM研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该白皮书提出通过全栈协同设计整合生成式AI、智能体AI及量子计算等技术,推动混合云转型,以应对新兴AI工作负载的复杂性,实现安全、高效和可持续的平台。
2025-05-22 cs.AI cs.AR cs.DC
Characterization and Prediction of Deep Learning Workloads in Large-Scale GPU Datacenters
Nanyang Technological University(南洋理工大学);SenseTime(商汤科技)
现代GPU开发中心对于在研究社区和行业中提供深度学习(DL)模型和服务至关重要。在运营数据中心时,资源调度和管理的优化可以带来显著的经济效益。实现这一目标需要深入了解作业功能和用户行为。我们提出了一个全面的研究DL作业和资源管理的特点。首先,我们对SenseTime的真实工作轨迹进行了大规模分析。从集群、作业和用户的角度,我们发现了一些有趣的结论,这些结论可以促进集群系统的设计。其次,我们引入了一个通用框架,它基于历史数据管理资源。作为案例研究,我们设计:一个准最短的服务优先调度服务,它可以最大限度地减少集群范围内的平均作业完成时间高达6.5倍;和集群节能服务,提高整体集群利用率高达13%。
2021-09-06 cs.DC cs.LG
Analyzing Machine Learning Workloads Using a Detailed GPU Simulator
目前部署的大多数深度神经网络都是通过TensorFlow和PyTorch等高级框架使用GPU进行训练的。本文介绍了我们对GPGPU-Sim模拟器所做的更改,使其能够通过运行NVIDIA cuDNN库中包含的PTX内核来运行PyTorch。我们使用由此产生的修改后的模拟器(已随本文公开提供)来研究一些简单的深度学习工作负载。随着我们对GPGPU-Sim功能仿真模型的更改,我们发现GPGPU-Sim性能模型运行支持cuDNN的LeNet for MNIST实现报告结果在实际硬件的30%内。使用GPGPU-Sim的AerialVision性能分析工具,我们观察到cuDNN API调用包含许多不同的阶段,并且似乎包括潜在的低效微架构行为,例如DRAM分区银行露营,至少在GPGPU-Sim的当前性能模型上执行时。
2019-01-26 cs.DC
FusionStitching: Boosting Memory Intensive Computations for Deep Learning Workloads
Alibaba Group(阿里巴巴集团)
我们在这项工作中表明,内存密集型计算可能会导致严重的性能问题,由于片外内存访问和CPU-GPU上下文切换开销在广泛的深度学习模型。针对这一问题,现有的JIT(Just-in-time)内核融合和代码生成技术存在融合计划探索策略粗糙、代码生成能力有限等缺陷。我们提出了FusionStitching,一个深度学习编译器,能够将具有不同数据依赖性和非均匀并行性的内存密集型运算符融合到大型GPU内核中,以自动减少全局内存访问和上下文切换开销。FusionStitching通过引入中间值的数据重用,扩大了融合可以针对的操作组合范围,超越了以前的JIT工作。它探索大的融合空间,以决定最佳的融合计划,考虑内存访问成本,内核调用和资源使用限制。FusionStitching使用特定于域的成本模型有效地调整最佳拼接方案。实验结果表明,FusionStitching可以达到2.21倍的加速比相比,最先进的,平均1.45倍。除了这些实验结果,我们还将我们的方法集成到编译器产品中,并将其部署到具有数千个GPU的AI工作负载的生产集群中。该系统已经运行了4个多月,平均每月为大约30,000个任务节省了7,000个GPU小时。
2021-12-17 cs.DC cs.LG
Effective Elastic Scaling of Deep Learning Workloads
IBM Research(IBM研究院);Microsoft(微软)
深度学习(DL)在学术界、政府和工业界的使用越来越多,反过来又导致了内部部署和云托管的深度学习平台的普及,其目标是使组织能够有效地利用昂贵的资源,并以公平有效的方式在多个团队之间共享所述资源。在本文中,我们研究了大规模训练平台上深度学习(DL)作业的弹性伸缩,并提出了一种新的DL训练作业的资源分配策略,从而提高了作业运行时间性能,并提高了集群利用率。我们从分析DL工作负载开始,并利用DL作业可以以一系列批量大小运行而不会影响其最终准确性的事实。我们制定了一个优化问题,探讨了一个动态的批量大小分配给个别DL作业的基础上,他们的扩展效率,当运行在多个节点上。我们设计了一个快速的动态规划为基础的优化器来解决这个问题,在实时确定作业,可以按比例增加/减少,并使用此优化器在自动缩放动态改变分配的资源和批量大小的个别DL作业。我们的经验表明,我们的弹性缩放算法可以完成多达$\approx 2 \times$的工作相比,一个强大的基线算法,也规模的GPU数量,但不改变批量大小。我们还证明了我们的算法的平均完成时间是高达$\approx 10 \times$快于基线。
2020-06-24 cs.DC cs.LG
Quantifying and Improving Performance of Distributed Deep Learning with Cloud Storage
云计算为分布式深度学习工作负载提供了一个强大而低成本的环境。然而,训练复杂的深度学习模型通常需要访问大量数据,这些数据很容易超过本地磁盘的容量。先前的研究往往忽略了这个训练数据问题,隐含地假设数据是本地可用的或通过低延迟的基于网络的数据存储。这种隐含的假设在基于云的训练环境中通常不成立,在这种环境中,深度学习从业者根据需要创建和拆除专用GPU集群,或者没有本地存储的奢侈品,例如在无服务器工作负载中。在这项工作中,我们调查的分布式训练,利用训练数据完全驻留在云存储桶的性能。这些存储桶承诺低存储成本,但固有的带宽限制使它们似乎不适合高效的培训解决方案。考虑到这些带宽限制,我们建议使用两个经典的技术,即缓存和预取,以减轻训练性能下降。我们实现了一个原型,DELI,基于流行的深度学习框架PyTorch的数据加载抽象的基础上。然后,我们使用Google Cloud的NVIDIA K80 GPU服务器评估了两个深度学习工作负载的训练性能,并表明与直接从存储桶加载相比,我们可以将训练循环等待数据的时间减少85.6%-93.5%-从而实现与直接从磁盘加载数据相当的性能-同时仅在本地存储一小部分数据。此外,DELI有可能降低运行训练工作负载的成本,特别是在每历元训练时间较长的模型上。
2021-08-13 cs.DC
CRIUgpu: Transparent Checkpointing of GPU-Accelerated Workloads
针对现有GPU检查点技术开销高、适配难的问题,本文提出基于新驱动功能的CRIUgpu方法,支持CUDA和ROCm应用,消除稳态开销并缩短恢复时间。
2025-02-23 cs.DC
Cross-Stack Workload Characterization of Deep Recommendation Systems
基于深度学习的推荐系统构成了大多数个性化云服务的支柱。虽然计算机体系结构社区最近开始注意到深度推荐推理,但由此产生的解决方案采用了截然不同的方法-从近内存处理到大规模优化。为了更好地设计用于深度推荐推理的未来硬件系统,我们必须首先系统地检查和表征跨执行堆栈的不同级别的设计决策的底层系统级影响。在本文中,我们在执行堆栈的三个不同层次上描述了八个具有行业代表性的深度推荐模型:算法和软件,系统平台和硬件微架构。通过这种跨栈表征,我们首先表明系统部署选择(即,CPU或GPU,批量大小粒度)可以为我们提供高达15倍的加速。为了更好地理解进一步优化的瓶颈,我们研究了软件操作员的使用分解以及CPU前端和后端微架构的低效率。最后,我们对关键算法模型架构特征与硬件瓶颈之间的相关性进行建模,揭示了每个硬件瓶颈背后没有一个占主导地位的算法组件。
2020-10-10 cs.AR cs.DC cs.IR
Saturn: An Optimized Data System for Large Model Deep Learning Workloads
University of California, San Diego(加州大学圣地亚哥分校)
针对大模型深度学习中并行选择、资源分配与调度的用户负担,研究提出SPASE联合问题,构建Saturn系统,通过可扩展并行模板、MILP建模与自省调度,将模型选择运行时间降低39%-49%。
2023-12-13 cs.AI cs.DC cs.LG
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University(俄亥俄州立大学);Cisco Research(思科研究中心)
针对GPU集群中混合并行分布式深度学习训练的高效调度需求,提出结合随机森林迭代预测的A-SRPT算法,通过将问题映射为单机最优调度实例实现理论高效的作业分配,经实验验证了有效性。
2025-01-09 cs.DC cs.LG
Deep Reinforcement Learning for Online Latency Aware Workload Offloading in Mobile Edge Computing
由于物联网(IoT)设备的资源受限特征,将任务从IoT设备卸载到附近的移动边缘计算(MEC)服务器不仅可以节省IoT设备的能量,而且还可以减少执行任务的响应时间。然而,由于MEC服务器的有限计算资源,将任务卸载到最近的MEC服务器可能不是最佳解决方案。因此,联合优化卸载决策和资源管理至关重要,但仍有待探索。这里,卸载决策指的是在哪里卸载任务,并且资源管理意味着MEC服务器中有多少计算资源被分配给任务。通过考虑任务在通信队列和计算队列中的等待时间,(这被大多数现有的工作所忽略)以及任务优先级,我们提出了\ul{D} eep reinforcement l \ul{E} arning based offloading de \ul{C} Vision and r \ul{E} source manageme \ul{NT}(DECENT)算法,该方法利用优势参与者评价方法来优化卸载决策,并为每个到达的任务实时计算资源分配。时间,使得可以最小化累积加权响应时间。DECENT的性能通过不同的实验证明。
2022-10-29 cs.DC
Workload-Aware Hardware Accelerator Mining for Distributed Deep Learning Training
提出一种基于启发式和关键路径的硬件加速器架构搜索技术,首次解决分布式张量与流水线并行场景,相比Spotlight搜索快31倍且吞吐量提升12倍,并比TPU架构提升12%。
2024-04-23 cs.AR cs.DC
Characterizing Deep-Learning I/O Workloads in TensorFlow
深度学习(DL)计算框架的性能依赖于数据摄取和检查点的性能。事实上,在训练过程中,大量相对较小的文件首先在CPU上加载和预处理,然后移动到加速器进行计算。此外,执行检查点和重启操作以允许DL计算框架从检查点快速重启。因此,I/O会影响DL应用程序的性能。在这项工作中,我们描述了TensorFlow的I/O性能和扩展,TensorFlow是由Google开发的开源编程框架,专门用于解决DL问题。为了测量TensorFlow I/O性能,我们首先设计了一个微基准来测量TensorFlow读取,然后使用基于AlexNet的TensorFlow迷你应用程序来测量TensorFlow中I/O和检查点的性能成本。为了提高检查点的性能,我们设计并实现了一个突发缓冲区。我们发现,在我们的基准测试环境中,增加线程数量将TensorFlow带宽最多增加2.3倍和7.8倍。tensorFlow预取器的使用导致加速器上的计算和CPU上的输入管道完全重叠,消除了I/O对整体性能的有效成本。在我们的基准测试环境中,使用突发缓冲区将检查点设置到快速的小容量存储,并将检查点异步复制到较慢的大容量存储,与直接将检查点设置到较慢的存储相比,性能提高了2.6倍。
2018-10-06 cs.DC