Dataflow-Aware PIM-Enabled Manycore Architecture for Deep Learning Workloads
Washington State University(华盛顿州立大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
本文针对深度学习工作负载,提出数据流感知的PIM众核架构设计原则,强调片上通信与ReRAM计算资源的协同优化,并探讨2.5D与3D集成方案下的设计挑战。
2024-03-28 cs.AI cs.AR cs.ET
Tesserae: Scalable Placement Policies for Deep Learning Workloads
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对深度学习集群调度中放置策略性能次优和可扩展性差的问题,提出基于图匹配的放置策略并集成到Tesserae调度器,显著提升平均JCT和Makespan。
2025-08-07 cs.AI cs.DC
Performance Analysis of Deep Learning Workloads on a Composable System
IBM T. J. Watson Research Center(IBM TJ·沃森研究中心);IBM Systems(IBM系统部)
可组合基础设施被定义为资源,如计算、存储、加速器和网络,这些资源在池中共享,并且可以按各种配置进行分组以满足应用程序要求。这种动态“混合和匹配”资源的自由允许在设计周期的早期,在系统的最终架构设计或硬件实现之前进行实验。这种设计提供了灵活性,以服务于各种工作负载,并提供了一个动态的协同设计平台,允许以受控的方式进行实验和测量。例如,关键的性能瓶颈可以在实验阶段早期发现,从而避免代价高昂和耗时的错误。此外,在试验新的片上系统(SoC)和新的加速器类型时,可以评估各种系统级拓扑。本文详细介绍了我们在IBM Research AI硬件中心(AIHC)实施并提供给合作伙伴的企业可组合基础设施的设计。我们对可组合系统的实验评估深入了解了系统的工作原理,并评估了各种资源聚合和重新配置对代表性深度学习基准的影响。
2021-03-19 cs.AI cs.DC
Identification of Cognitive Workload during Surgical Tasks with Multimodal Deep Learning
Imperial College London(伦敦帝国学院);Oxford Brookes University(牛津布鲁克斯大学)
手术室(OR)是一个动态而复杂的环境,由多学科团队组成,在高需求环境中共同工作,以提供安全有效的患者护理。此外,外科医生经常暴露于多种心理组织压力源,这可能会对他们的直接技术表现和长期健康造成负面影响。因此,许多因素都可能导致认知障碍(CWL)增加,例如时间压力、不熟悉的解剖结构或手术室中的分心。在本文中,级联的两个机器学习的方法,建议在四个不同的手术任务条件下的CWL的多模态识别。首先,使用基于迁移学习概念的模型来识别外科医生是否正在经历任何CWL。其次,卷积神经网络(CNN)使用该信息来识别与每个手术任务相关联的不同程度的CWL。建议的多模态方法考虑相邻的信号从脑电图(EEG),功能性近红外光谱(fNIRS)和瞳孔直径。信号的级联允许在时间(时间)和信道位置(空间)方面的复杂相关性。数据汇集由伦敦帝国理工学院哈姆林中心开发的多传感人工智能手术任务和角色优化环境平台(MAESTRO)进行。为了比较所提出的方法的性能,已经实现了一些最先进的机器学习技术。试验表明,该模型的预测精度达到93%.
2022-09-30 cs.AI cs.HC cs.LG
On the Potential of Execution Traces for Batch Processing Workload Optimization in Public Clouds
Technische Universität Berlin(柏林工业大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
随着数据量的不断增长,数据处理工作负载及其资源使用的管理变得越来越重要。由于管理专用基础设施在许多情况下是不可行或不经济的,因此用户逐渐在云中执行其各自的工作负载。由于工作负载和资源的配置通常具有挑战性,因此已经提出了各种方法,这些方法可以快速配置良好的配置或基于先前运行的数据确定配置。然而,用于训练这种方法的性能数据往往缺乏,并且必须花费昂贵的收集。在本文中,我们提出了一种协作方法,用于在用户之间共享匿名工作负载执行跟踪,挖掘它们的一般模式,并利用历史工作负载集群进行未来的优化。我们评估了我们的原型实现挖掘工作负载执行图上公开可用的跟踪数据集,并证明了预测值的工作负载集群确定通过跟踪只。
2022-01-16 cs.DC cs.LG
Dynamic GPU Energy Optimization for Machine Learning Training Workloads
Harbin Institute of Technology(哈尔滨工业大学);University of Leeds(利兹大学)
GPU被广泛用于加速机器学习工作负载的训练。随着现代机器学习模型变得越来越大,它们需要更长的训练时间,导致更高的GPU能耗。本文介绍了GPOEO,这是一个用于机器学习训练工作负载的在线GPU能量优化框架。GPOEO通过采用在线测量、多目标预测建模和搜索优化的新技术动态地确定最优能量配置。为了表征目标工作负载行为,GPOEO使用GPU性能计数器。为了减少性能计数器分析开销,它使用分析模型来检测训练迭代更改,并且仅在检测到迭代偏移时收集性能计数器数据。GPOEO采用基于梯度提升和局部搜索算法的多目标模型,以找到执行时间和能耗之间的权衡。我们通过将GPOEO应用于在NVIDIA RTX3080Ti GPU上运行的两个AI基准套件的71个机器学习工作负载来评估GPOEO。与NVIDIA默认调度策略相比,GPOEO平均节能16.2%,平均执行时间增加5.1%。
2022-01-05 cs.AI cs.DC cs.LG
Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
Kuwait University, Kuwait(科威特大学);Northwestern Polytechnical University, China(西北工业大学)
RLTune通过强化学习与优化方法实现异构GPU集群上深度学习工作负载的高效动态调度,提升资源利用率并减少延迟。
2025-12-11 cs.AI cs.DC cs.LG
A Comprehensively Adaptive Architectural Optimization-Ingrained Quantum Neural Network Model for Cloud Workloads Prediction
Maulana Azad National Institute of Technology(莫拉纳阿扎德国家理工学院);The University of Aizu(会津大学);VIZJA University(维兹亚大学);National Sun Yat-sen University(中山大学);Indian Institute of Information Technology Bhopal(印度博帕尔信息技术学院)
针对动态云服务资源需求突变导致传统模型预测效率低下的问题,提出结合量子计算与完整结构及参数学习的可变量子神经网络CA-QNN,通过受控非门激活函数和全面架构优化算法提升性能,在四个基准数据集上预测误差最高降低93.40%。
2025-07-11 cs.LG
Window-Based Feature Engineering for Cognitive Workload Detection
School of Information Technology(信息科技学院);Deakin University(德肯大学)
本研究使用COLET数据集,通过基于窗口的时间划分生成特征,结合机器与深度学习模型对认知负荷进行分类,发现深度学习(尤其是表格架构)在多项指标上优于传统方法,证实了该特征工程方法在实时评估中的潜力。
2025-11-02 cs.LG
Reinforcement Learning-Based Optimization of Workload-Aware Power Delivery Networks
Trinity College Dublin(都柏林圣三一学院);University of Thessaly(色萨利大学);University of Amsterdam(阿姆斯特丹大学)
本文提出基于强化学习的框架优化工作负载感知供电网络,利用DQN智能体进行线宽优化,在满足EM和IR约束下减少47%的PDN面积,且优化速度比模拟退火快约26倍。
2026-10-06 cs.AR cs.LG
Characterizing Concurrency Mechanisms for NVIDIA GPUs under Deep Learning Workloads
Worcester Polytechnic Institute(伍斯特理工学院)
我们研究了NVIDIA新的Ampere GPU微架构在深度学习训练和推理工作负载下可用的并发机制的性能。与以前的研究,把GPU作为一个黑盒子,我们研究调度在微架构的水平。我们发现,缺乏细粒度的抢占机制,强大的任务优先级选项,竞争意识线程块放置策略限制了NVIDIA的并发机制的有效性。总之,深度学习工作负载的顺序性及其波动的资源需求和内核运行时,使得在当前NVIDIA硬件上执行此类工作负载,同时保持一致的高利用率和较低的可预测周转时间变得困难。
2021-10-01 cs.AR cs.DC cs.LG
Characterizing Deep Learning Training Workloads on Alibaba-PAI
Alibaba Group(阿里巴巴集团);The University of Hong Kong(香港大学)
现代深度学习模型已经在各个领域得到了利用,包括计算机视觉(CV)、自然语言处理(NLP)、搜索和推荐。在实际的人工智能集群中,训练这些模型的工作负载使用TensorFlow、Caffe、PyTorch和CNTK等软件框架运行。有效运行实际人工智能云的一个关键问题是描述这些工作负载的计算和数据传输需求,更重要的是,在给定底层软件框架和硬件配置的情况下,培训性能。在本文中,我们描述了阿里巴巴人工智能(PAI)平台的深度学习训练工作负载。我们建立了一个分析框架,调查使用不同的训练架构的各种工作负载的详细执行时间分解,以确定性能瓶颈。结果表明,训练期间的权重/梯度通信平均占用了所有工作负载总执行时间的近62%。计算部分,涉及GPU计算和内存访问,并不是基于工作负载集体行为的最大瓶颈。我们进一步评估各种潜在的软件/硬件映射的工作负载的可达到的性能,并探讨软件架构选择和硬件配置的影响。我们发现,当将60%的PS/Worker工作负载移植到AllReduce架构时,可以利用高速NVLink进行GPU互连,并且当以太网带宽从25 Gbps升级到100 Gbps时,平均可以实现1.7倍的加速。
2019-10-14 cs.LG cs.PF
Scalable AI Inference: Performance Analysis and Optimization of AI Model Serving
Institute of Computer Science(计算机科学研究所);University of Applied Sciences Ruhr West(鲁尔西部应用科学大学);Mülheim an der Ruhr, Germany(鲁尔地区穆尔海姆,德国)
本文研究了基于BentoML的AI推理系统在可扩展模型服务中的性能与优化,通过实验证明了优化策略对响应时间和系统鲁棒性的影响。
2026-04-22 cs.AI cs.LG
Game-Theoretic Deep Reinforcement Learning to Minimize Carbon Emissions and Energy Costs for AI Inference Workloads in Geo-Distributed Data Centers
Hewlett Packard Labs(慧与实验室);Colorado State University(科罗拉多州立大学)
本文提出博弈论深度强化学习(GT-DRL)方法,通过将非合作博弈论融入DRL框架,优化地理分布式数据中心AI推理工作负载分配,在保证计算性能的同时有效降低碳排放和云运营成本。
2024-04-01 cs.AI cs.DC cs.LG
Fathom: Reference Workloads for Modern Deep Learning Methods
Harvard University(哈佛大学)
深度学习因其最近在挑战人工智能问题上的成功而受到普及。其主导地位的原因之一也是一个持续的挑战:对巨大计算能力的需求。硬件架构师已经提出了一系列有前途的想法,但到目前为止,大多数工作都集中在一些狭窄的应用领域的特定算法。虽然这些问题的特殊性并没有削弱这些办法,但显然需要更灵活的解决办法。我们认为第一步是检查整个深度学习社区的尖端模型的特征。因此,我们组装了Fathom:一个包含八个典型深度学习工作负载的集合。这些模型中的每一个都来自深度学习社区的开创性工作,从熟悉的Krizhevsky等人的深度卷积神经网络,Facebook的人工智能研究小组的更奇特的记忆网络。Fathom已在线发布,本文着重于了解每个模型的基本性能特征。我们使用一组围绕TensorFlow深度学习框架构建的应用程序级建模工具来分析Fathom工作负载的行为。我们提出了一个细分的时间花在哪里,我们的模型的性能配置文件之间的相似性,推理和训练的行为分析,以及并行性对扩展的影响。
2016-08-23 cs.LG
Performance Analysis of Deep Learning Workloads on Leading-edge Systems
Brookhaven National Laboratory(布鲁克海文国家实验室)
这项工作研究了为机器学习计算而设计的领先系统的性能,包括NVIDIA DGX-2、Amazon Web Services(AWS)P3、IBM Power System Accelerated Compute Server AC 922和消费级Exxact TensorEX TS 4 GPU服务器。来自计算机视觉和自然语言处理领域的代表性深度学习工作负载是分析的重点。性能分析与一些重要的维度一起进行。考虑了通信互连和大型高吞吐量深度学习模型的性能。还检查了系统作为独立和在云中的不同潜在使用模型。分析中包括对深度学习模型和系统配置的各种优化的效果。
2019-10-01 cs.DC cs.LG cs.PF
Estimation of Clinical Workload and Patient Activity using Deep Learning and Optical Flow
Monash University(蒙纳士大学);Eastern Health(东部健康中心)
使用热成像的非接触式监测越来越多地被提议用于监测住院患者的病情恶化,最近用于检测COVID-19大流行期间的发烧和感染。在这封信中,我们提出了一种新的方法来估计病人的运动和观察临床工作量使用类似的技术设置,但结合开源目标检测算法(YOLOv 4)和光流。患者运动估计用于近似患者的激动和镇静,而工人运动被用作护理人员工作量的替代。通过比较重症监护室记录的患者视频中的32000多帧,与临床工作人员记录的临床躁动评分,说明了性能。
2022-02-09 cs.CV cs.HC cs.LG
BitE : Accelerating Learned Query Optimization in a Mixed-Workload Environment
Korea University(高丽大学);SAP Labs Korea(SAP韩国研究院);Ewha Womans University(梨花女子大学);Dongguk University(东国大学)
本文提出 BitE 集成学习模型,利用数据库统计信息与元数据,并通过扩展 ASP 搜索空间、避免默认计划偏差和改进奖励估计,在混合工作负载下提升学习型查询优化性能。
2023-06-02 cs.DB cs.LG
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近,深度学习一直是一个激烈的研究领域。然而,作为一种计算密集型任务,深度学习高度依赖于GPU内存的规模,这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作,但是它们难以应用于具有多个动态工作负载的系统,例如数据库内机器学习系统。在本文中,我们展示了TENSILE,一种在张量粒度下管理GPU内存的方法,以降低GPU内存峰值,考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile,并对其性能进行了评估。实验结果表明,在单负载和多负载的动态环境下,TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
COMPASS-ABS: Reducing Fragmentation in Shared GPU Clusters for Deep Learning Training Workloads
针对共享GPU集群资源碎片化问题,提出基于部分节点度量的SIF指标和COMPASS-ABS调度算法,通过锚点空间限制集群状态,在理论与生产条件下保证SIF有界,实验验证能提高利用率并缩短作业完成时间。
2026-09-17 cs.DC cs.LG
RL-Scope: Cross-Stack Profiling for Deep Reinforcement Learning Workloads
Vector Institute(矢量研究院);University of Toronto(多伦多大学);Harvard(哈佛大学)
深度强化学习(RL)在机器人、数据中心管理和其他应用方面取得了突破性的进展。不幸的是,人们对RL工作负载中的系统级瓶颈知之甚少;我们观察到RL工作负载中的基本结构差异,这使得它们本质上比监督学习(SL)更少受GPU约束。为了解释RL工作负载中的训练时间,我们提出了RL-Scope,这是一个跨堆栈分析器,它将低级CPU/GPU资源使用情况限制在高级算法操作范围内,并通过纠正分析开销提供准确的见解。使用RL-Scope,我们调查了其主要维度的RL工作负载,包括ML后端,RL算法和模拟器。对于ML后端,我们解释了等效PyTorch和TensorFlow算法实现之间运行时的$2.3\times$差异,并确定了源于过度抽象算法实现的瓶颈。对于RL算法和模拟器,我们表明,对政策的算法至少$3.5\times$更多的模拟约束比关闭政策的算法。最后,我们分析了一个扩展的工作负载,并证明了常用工具报告的GPU利用率指标大大提高了GPU的使用率,而RL-Scope报告的是真正的GPU绑定时间。RL-Scope是一个开源工具,可在https://github.com/UofT-EcoSystem/rlscope上获得。
2021-03-04 cs.LG cs.SE
Decoding EEG-based Workload Levels Using Spatio-temporal Features Under Flight Environment
Korea University(高丽大学)
本研究首次针对飞行员工作负荷水平分类任务,提出由五个卷积块和一个LSTM块组成的混合深度神经网络,从EEG信号提取时空特征,在模拟飞行实验中取得0.8613的总平均准确率,优于传统模型,可为自主飞行等领域提供支持。
2023-11-10 cs.AI cs.LG eess.SP
The Workload-Router-Pool Architecture for LLM Inference Optimization: A Vision Paper from the vLLM Semantic Router Project
McGill University(麦吉尔大学);University of Chicago(芝加哥大学)
本文提出Workload-Router-Pool架构,通过负载、路由、池三个维度优化LLM推理,结合路由策略与负载特征,解决多任务、多模态、多代理场景下的推理效率与安全性问题。
2026-04-08 cs.DC cs.LG
ScaleDL: Towards Scalable and Efficient Runtime Prediction for Distributed Deep Learning Workloads
College of Intelligence and Computing(智能与计算学院);Tianjin University(天津大学)
针对分布式深度学习工作负载运行时预测难以兼顾精度、泛化性与数据成本的问题,本文提出ScaleDL框架,结合非线性分层建模、GNN跨层交互与D-最优方法,实现了更优的预测精度与泛化能力。
2025-11-13 cs.LG
Compiler Toolchains for Deep Learning Workloads on Embedded Platforms
Infineon Technologies Dresden GmbH & Co. KG(英飞凌科技德累斯顿有限公司);Dresden University of Technology(德累斯顿工业大学)
随着深度学习的使用在移动和嵌入式解决方案中变得越来越流行,有必要将特定于框架的网络表示转换为这些嵌入式平台的可执行代码。本文由两部分组成:第一部分是由可用的开源深度学习编译器工具链的调查和基准测试,其中重点是针对嵌入式设备和微控制器,以异构的方式与专用加速器相结合的各个解决方案的功能和性能。第二部分探讨了这种异构设备的编译流程的实现和评估,并重用现有的工具链之一,为计划为自己的硬件构建软件流程的硬件开发人员演示必要的步骤。
2021-03-08 cs.LG cs.PL
FlashMem: Supporting Modern DNN Workloads on Mobile with GPU Memory Hierarchy Optimizations
University of Georgia(佐治亚大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
FlashMem通过GPU内存层次优化,实现移动设备上大规模DNN和多DNN工作的高效执行。
2026-02-17 cs.DC cs.LG
Breaking the Computation and Communication Abstraction Barrier in Distributed Machine Learning Workloads
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Ohio State University(俄亥俄州立大学);Chinese Academy of Sciences(中国科学院);University of California, Riverside(加州大学河滨分校);Microsoft Research(微软研究院)
最近的趋势是越来越多的大型机器学习模型需要分布训练和推理任务。考虑到训练这些模型的巨大成本,必须在计算和通信方面进行优化,以获得最佳性能。然而,当前深度学习框架中计算和通信内核之间的逻辑分离错过了跨越这种障碍的优化机会。通过整体考虑打破这种抽象可以提供许多优化,从而提高分布式工作负载的性能。手动应用这些优化需要为每个场景修改底层计算和通信库,这既耗时又容易出错。因此,我们提出了CoCoNeT,用DSL来表达一个既有计算又有通信的程序。CoCoNeT包含几个机器学习感知的转换来优化程序和编译器以生成高性能内核。将计算和通信作为第一类结构提供,允许用户在高级抽象上工作并应用强大的优化,例如通信和计算的融合或重叠。CoCoNeT使我们能够在大语言模型中优化数据、模型和流水线并行工作负载,只需几行代码。实验表明,CoCoNeT显著优于最先进的分布式机器学习实现。
2022-03-26 cs.DC cs.LG cs.PL
Deep Reinforcement Agent for Scheduling in HPC
Illinois Institute of Technology(伊利诺伊理工学院);Argonne National Laboratory(阿贡国家实验室);Northern Illinois University(北伊利诺伊大学)
集群调度器是高性能计算中的关键技术。它决定何时以及哪些用户作业应该分配给可用的系统资源。现有的集群调度算法是由人类专家根据他们对特定HPC系统和工作负载的经验开发的。然而,计算系统的日益复杂性和应用程序工作负载的高度动态性给手动设计和调整的调度算法带来了巨大的负担。HPC中的集群调度需要更积极的优化和自动化。在这项工作中,我们提出了一个自动化的HPC调度代理DRAS(深度强化代理调度),利用深度强化学习。DRAS是建立在一个新的,分层的神经网络纳入特殊的HPC调度功能,如资源预留和调度。提出了一种独特的训练策略,使DRAS能够快速学习目标环境。一旦系统管理员给出了一个特定的调度目标,DRAS自动学习,以改善其政策,通过与调度环境的互动,并动态调整其政策的工作负载的变化。不同生产负载的实验表明,DRAS优于现有的启发式和优化方法高达45%。
2021-04-19 cs.AI cs.DC cs.LG
MIGPerf: A Comprehensive Benchmark for Deep Learning Training and Inference Workloads on Multi-Instance GPUs
Alibaba Group(阿里巴巴集团);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Wuhan University(武汉大学);NVIDIA AI Tech Center(英伟达人工智能技术中心);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
像A100这样的新架构GPU现在配备了多实例GPU(GPU)技术,该技术允许将GPU划分为多个小型的独立实例。这项技术为用户提供了更大的灵活性,以支持深度学习训练和推理工作负载,但有效地利用它仍然具有挑战性。本文的目标是为XML提供一个更全面和实用的基准测试研究,以消除繁琐的手动基准测试和调优工作的需要。为了实现这一愿景,本文介绍了MIGPerf,一个开源工具,简化了基准测试研究。使用MIGPerf,作者进行了一系列实验,包括深度学习训练和推理表征,GPU共享表征,以及框架与GPU的兼容性。这些实验的结果为用户有效地使用多媒体数据库提供了新的见解和指导,并为进一步研究混合训练和推理工作负载在MIG上的编排奠定了基础。代码和结果发布在https://github.com/MLSysOps/MIGProfiler上。这项工作仍在进行中,不久将公布更多结果。
2023-01-01 cs.LG cs.PF
When Does Deep RL Beat Calibrated Baselines? A Benchmark Study on Adaptive Resource Control
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学)
通过RLScale-Bench基准测试,发现校准的基于规则的自动缩放器在所有工作负载上成本均低于六种主流深度强化学习算法,并揭示了算法选择、基线校准和评估协议的关键瓶颈。
2026-06-16 cs.AI cs.DC cs.LG
Hardware-aware training for large-scale and diverse deep learning inference workloads using in-memory computing-based accelerators
IBM Research(IBM研究院)
模拟存内计算(AIMC)--一种很有前途的深度学习工作负载节能加速方法--计算矩阵向量乘法(MVMs),但由于非理想性通常是非确定性或非线性的,因此只能近似计算。与常规浮点(FP)实现相比,这可能不利地影响可实现的深度神经网络(DNN)推理准确性。虽然之前已经建议重新训练以提高鲁棒性,但之前的工作仅探索了少数DNN拓扑,使用不同且过于简化的AIMC硬件模型。在这里,我们使用硬件感知(HWA)训练来系统地检查AIMC在多个DNN拓扑中的多个常见人工智能(AI)工作负载的准确性,并研究对广泛的非理想性的敏感性和鲁棒性。通过引入一个新的和高度现实的AIMC交叉模型,我们显着改善早期的再培训方法。我们发现,许多不同拓扑结构的大规模DNN,包括卷积神经网络(CNN),递归神经网络(RNN)和Transformers,实际上可以成功地重新训练,以显示AIMC的等精度。我们的研究结果进一步表明,向输入或输出添加噪声的AIMC非理想性,而不是权重,对DNN精度的影响最大,并且RNN对所有非理想性都特别鲁棒。
2023-02-16 cs.ET cs.LG
Long Short-Term Network Based Unobtrusive Perceived Workload Monitoring with Consumer Grade Smartwatches in the Wild
Boğaziçi University(博阿齐奇大学)
持续的高感知工作量对个人的福祉有负面影响。先前的工作集中于在受限环境中使用医疗级可穿戴系统检测工作负载,并且没有研究在野生环境中应用深度学习技术用于感知工作负载检测的效果。我们提出了一个不显眼的,舒适的,普遍的和负担得起的长短期记忆网络为基础的连续工作量监测系统的基础上的智能手表应用程序,监测个人在野外的感知工作量。我们使用现代消费级智能手表。我们记录了生理数据,从日常生活中的感知工作量问卷调查对象在他们的现实生活环境中超过一个月。该模型使用来自不同日子的日常生理数据进行训练和评估,这使得它对心率变异性的日常变化具有鲁棒性,我们使用加速度计功能来评估低和高工作负荷。我们的系统具有通过使用传统和深度分类器来去除运动相关伪影和检测感知工作量的能力。我们讨论了与消费级智能手表的野外应用相关的问题。我们表明,长短期记忆网络在野外智能手表的低工作量和高工作量的区分方面优于传统分类器。
2019-11-30 cs.HC cs.LG
LIBRA: Enabling Workload-aware Multi-dimensional Network Topology Optimization for Distributed Training of Large AI Models
Georgia Institute of Technology(佐治亚理工学院);Intel(英特尔公司)
针对大型AI模型分布式训练的通信开销瓶颈,提出工作负载感知的多维网络拓扑优化框架LIBRA,通过最优带宽分配提升网络带宽与资源利用率,经案例验证其在约束下构建优化网络及创造协同优化机会的价值。
2024-05-05 cs.DC cs.LG
SMAUG: End-to-End Full-Stack Simulation Infrastructure for Deep Learning Workloads
Harvard University(哈佛大学)
近年来,深度神经网络的硬件加速取得了巨大的进步。然而,大多数研究都集中在优化加速器微架构,以提高每层的性能和能效。我们发现,对于整个单批推理延迟,加速器可能只占25- 40%,其余部分用于数据移动和深度学习软件框架。到目前为止,在早期设计阶段(在RTL可用之前)研究端到端DNN性能非常困难,因为没有现有的DNN框架支持端到端仿真和轻松的自定义硬件加速器集成。为了解决研究基础设施中的这一差距,我们提出了SMAUG,这是第一个专门为模拟端到端深度学习应用而构建的DNN框架。SMAUG为研究人员提供了广泛的功能来评估DNN工作负载,从不同的网络拓扑到轻松的加速器建模和SoC集成。为了展示SMAUG的强大功能和价值,我们展示了案例研究,展示了我们如何在不改变加速器微架构的任何部分的情况下,优化整体性能和能效,使加速比达到基线系统的1.8- 5倍,并展示了SMAUG如何为相机供电的深度学习管道调整SoC。
2019-12-11 cs.DC cs.LG
Maya: Optimizing Deep Learning Training Workloads using GPU Runtime Emulation
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Inc.(英伟达公司)
针对大型基础模型训练优化中手动试错低效、现有性能建模系统存在语义鸿沟的问题,提出Maya通过GPU运行时仿真拦截API调用捕获完整工作负载行为,实现低误差预测并识别出可降低56%训练成本的配置。
2025-11-15 cs.DC cs.LG
Efficient Deep Learning Pipelines for Accurate Cost Estimations Over Large Scale Query Workload
National University of Singapore(新加坡国立大学);GrabTaxi Holdings(GrabTaxi控股公司)
使用深度学习模型来预测SQL查询的资源消耗模式最近已经成为一个热门的研究领域。随着许多公司使用云平台为其数据湖提供动力以满足大规模分析需求,这些模型构成了管理云资源配置的关键部分。虽然这些模型已经证明了有希望的准确性,但在大规模行业工作负载上训练它们是昂贵的。编码技术在大量查询上的空间效率低下,以及用于在不同查询计划中强制形状一致性的过多填充意味着1)更长的模型训练时间和2)需要昂贵的,可扩展的基础设施来支持批量训练。反过来,我们开发了Prestroid,这是一种基于树卷积的数据科学管道,可以准确预测查询跟踪的资源消耗模式,但成本要低得多。我们评估了来自Grab的19K Presto OLAP查询,在超过20PB数据的数据湖上。实验结果表明,我们的流水线在预测准确性方面优于基准测试,有助于对大规模工作负载进行更精确的资源预测,同时还将每批内存占用减少了13.5倍,每时期训练时间减少了3.45倍。我们展示了在Microsoft Azure VM上进行大批量模型训练的直接成本节省高达13.2倍。
2021-03-23 cs.DB cs.LG
Hyperparameter optimization, quantum-assisted model performance prediction, and benchmarking of AI-based High Energy Physics workloads using HPC
CERN(欧洲核子研究组织)
基于深度学习的人工智能模型的训练和超参数优化(HPO)通常是计算资源密集型的,需要使用大规模分布式资源以及可扩展且资源高效的超参数搜索算法。这项工作研究了使用模型性能预测,以帮助高性能计算系统上进行的HPO过程的潜力。此外,量子退火是用来训练的性能预测器和方法,提出了克服一些问题,来自量子系统的电流限制,以及增加解决方案的稳定性。这允许在量子机器上实现与经典机器上获得的结果相当的结果,显示量子计算机如何集成在经典机器学习调优管道中。此外,基于用于碰撞事件重建的AI模型开发容器化基准测试的结果,使我们能够比较和评估不同硬件加速器用于训练深度神经网络的适用性。
2023-03-27 cs.LG physics.data-an
Systematic Review of Experimental Paradigms and Deep Neural Networks for Electroencephalography-Based Cognitive Workload Detection
Indian Institute of Technology, Guwahati(印度理工学院瓜哈提分校)
本文系统综述了基于EEG的认知负荷检测,梳理了诱发认知负荷的实验范式及深度神经网络的输入表征,指出当前研究以离线黑箱模型为主,并建议采用可解释DNN以应对信号非平稳性。
2023-09-11 cs.LG eess.SP
Dynamic Data Layout Optimization with Worst-case Guarantees
Georgia Institute of Technology(佐治亚理工学院);VMware Research(威睿研究院);Stanford University(斯坦福大学)
本文提出在线数据布局重组框架 OReO,在无工作负载先验知识时平衡查询收益与重组成本,并给出最坏情况紧界,实验显示总时间最多改善32%。
2024-05-08 cs.DB cs.DS cs.LG
Intelligent Cloud Orchestration: A Hybrid Predictive and Heuristic Framework for Cost Optimization
G H Patel College of Engineering and Technology(G H Patel工程技术学院)
本文提出结合LSTM预测与启发式方法的混合框架,以在保持快速响应时间的同时降低云资源管理成本。
2026-04-02 cs.AI cs.DC cs.LG
Learning Branch Probabilities in Compiler from Datacenter Workloads
Google(谷歌)
估计条件分支指令被执行的概率是一个重要的分析,它可以在现代编译器中实现许多优化。当使用Profile Guided Optimizations(PGO)时,编译器能够对分支概率进行很好的估计。在没有配置文件信息的情况下,编译器会为此目的使用解析法。在这项工作中,我们提出从数据中心工作负载获得的大量数据库中学习分支概率。使用度量,包括均方根误差,平均绝对误差和交叉熵,我们表明,机器学习模型提高了18-50%的分支概率估计相比,编译器并行。这意味着在40个基准测试套件中的24个上,性能提高了8.1%,在套件上有1%的几何改进。这也导致一个重要的搜索应用程序的性能提高超过1.2%。
2022-02-10 cs.LG cs.PF
Characterization and Prediction of Deep Learning Workloads in Large-Scale GPU Datacenters
Nanyang Technological University(南洋理工大学);SenseTime(商汤科技)
现代GPU开发中心对于在研究社区和行业中提供深度学习(DL)模型和服务至关重要。在运营数据中心时,资源调度和管理的优化可以带来显著的经济效益。实现这一目标需要深入了解作业功能和用户行为。我们提出了一个全面的研究DL作业和资源管理的特点。首先,我们对SenseTime的真实工作轨迹进行了大规模分析。从集群、作业和用户的角度,我们发现了一些有趣的结论,这些结论可以促进集群系统的设计。其次,我们引入了一个通用框架,它基于历史数据管理资源。作为案例研究,我们设计:一个准最短的服务优先调度服务,它可以最大限度地减少集群范围内的平均作业完成时间高达6.5倍;和集群节能服务,提高整体集群利用率高达13%。
2021-09-06 cs.DC cs.LG
FusionStitching: Boosting Memory Intensive Computations for Deep Learning Workloads
Alibaba Group(阿里巴巴集团)
我们在这项工作中表明,内存密集型计算可能会导致严重的性能问题,由于片外内存访问和CPU-GPU上下文切换开销在广泛的深度学习模型。针对这一问题,现有的JIT(Just-in-time)内核融合和代码生成技术存在融合计划探索策略粗糙、代码生成能力有限等缺陷。我们提出了FusionStitching,一个深度学习编译器,能够将具有不同数据依赖性和非均匀并行性的内存密集型运算符融合到大型GPU内核中,以自动减少全局内存访问和上下文切换开销。FusionStitching通过引入中间值的数据重用,扩大了融合可以针对的操作组合范围,超越了以前的JIT工作。它探索大的融合空间,以决定最佳的融合计划,考虑内存访问成本,内核调用和资源使用限制。FusionStitching使用特定于域的成本模型有效地调整最佳拼接方案。实验结果表明,FusionStitching可以达到2.21倍的加速比相比,最先进的,平均1.45倍。除了这些实验结果,我们还将我们的方法集成到编译器产品中,并将其部署到具有数千个GPU的AI工作负载的生产集群中。该系统已经运行了4个多月,平均每月为大约30,000个任务节省了7,000个GPU小时。
2021-12-17 cs.DC cs.LG
Effective Elastic Scaling of Deep Learning Workloads
IBM Research(IBM研究院);Microsoft(微软)
深度学习(DL)在学术界、政府和工业界的使用越来越多,反过来又导致了内部部署和云托管的深度学习平台的普及,其目标是使组织能够有效地利用昂贵的资源,并以公平有效的方式在多个团队之间共享所述资源。在本文中,我们研究了大规模训练平台上深度学习(DL)作业的弹性伸缩,并提出了一种新的DL训练作业的资源分配策略,从而提高了作业运行时间性能,并提高了集群利用率。我们从分析DL工作负载开始,并利用DL作业可以以一系列批量大小运行而不会影响其最终准确性的事实。我们制定了一个优化问题,探讨了一个动态的批量大小分配给个别DL作业的基础上,他们的扩展效率,当运行在多个节点上。我们设计了一个快速的动态规划为基础的优化器来解决这个问题,在实时确定作业,可以按比例增加/减少,并使用此优化器在自动缩放动态改变分配的资源和批量大小的个别DL作业。我们的经验表明,我们的弹性缩放算法可以完成多达$\approx 2 \times$的工作相比,一个强大的基线算法,也规模的GPU数量,但不改变批量大小。我们还证明了我们的算法的平均完成时间是高达$\approx 10 \times$快于基线。
2020-06-24 cs.DC cs.LG
PIM-Opt: Demystifying Distributed Optimization Algorithms on a Real-World Processing-In-Memory System
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达公司);Wuhan University(武汉大学);University of Chicago(芝加哥大学)
本文在真实UPMEM存内计算系统上实现并评估了多种分布式SGD算法,发现PIM在受内存限制的ML训练中是CPU/GPU的可行替代方案,但需算法-硬件协同设计且扩展性存在非线性限制。
2024-09-27 cs.AI cs.AR cs.DC
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC(巴塞罗那超级计算中心);IBM(国际商业机器公司);UPC(巴塞罗那技术大学)
研究分布式大语言模型适配器服务中GPU资源利用问题,提出数据驱动管道,通过性能预测、数字孪生等组件,以最少GPU服务工作负载,提升效率,还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC
Understanding the Performance Horizon of the Latest ML Workloads with NonGEMM Workloads
University of California, Irvine(加州大学欧文分校);Computer Science University of California, Irvine(加州大学欧文分校计算机科学系)
针对非GEMM算子在机器学习推理中因GEMM加速而凸显的性能瓶颈问题,通过分析17个模型在多平台的表现,揭示其占总延迟11.3%-73.6%,量化会加剧该问题,且现有优化未完全解决,为非GEMM优化提供指导。
2025-04-16 cs.AR cs.LG cs.PF
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University(俄亥俄州立大学);Cisco Research(思科研究中心)
针对GPU集群中混合并行分布式深度学习训练的高效调度需求,提出结合随机森林迭代预测的A-SRPT算法,通过将问题映射为单机最优调度实例实现理论高效的作业分配,经实验验证了有效性。
2025-01-09 cs.DC cs.LG
High performance ultra-low-precision convolutions on mobile devices
Facebook
移动深度学习的许多应用,特别是实时计算机视觉工作负载,都受到计算能力的限制。对于在较旧的消费类手机上运行的工作负载来说尤其如此,其中典型的设备可能由单核或双核ARMv7 CPU供电。我们提供了一个开源实现和对ARMv7设备上现代深度学习工作负载所需的核心原语的最先进的超低精度(<4位精度)实现的全面分析,并展示了比我们额外的最先进的float 32和int 8基线提高4倍-20倍的加速比。
2017-12-06 cs.LG
DCcluster-Opt: Benchmarking Dynamic Multi-Objective Optimization for Geo-Distributed Data Center Workloads
Hewlett Packard Enterprise(慧与公司)
针对大规模AI带来的能耗与碳排放问题,本文提出了开源高保真仿真基准DCcluster-Opt,融合真实数据集与物理信息模型,支持地理分布式数据中心的动态多目标调度与算法公平比较。
2025-10-31 cs.AI cs.LG cs.MA
Data-Driven Optimization for Atlanta Police Zone Design
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一个数据驱动的优化框架,重新设计警察巡逻区在城市环境中。其目标是重新平衡各地理区域的警察工作量,并缩短对紧急呼叫的反应时间。我们通过整合多个数据源,包括警察事件报告,人口调查和交通数据,开发了一个随机模型的警察应急响应。使用这个随机模型,我们优化区域重新设计计划,使用混合整数线性规划。我们提出的设计于2019年3月由亚特兰大警察局实施。通过分析分区重新设计前后的数据,我们发现新的设计使高优先级911呼叫的响应时间减少了5.8%,不同分区之间的警察工作量不平衡减少了43%。
2021-11-02 cs.LG math.OC
Improving Automatic Parallel Training via Balanced Memory Workload Optimization
Key Lab of High Confidence Software Technologies (MOE), Peking University(北京大学高可信软件技术重点实验室(教育部));Computer Science Department of Carnegie Mellon University(卡内基梅隆大学计算机科学系);ZTE company(中兴公司);Institute of Computational Social Science, Peking University (Qingdao)(北京大学(青岛)计算社会科学研究院)
本文提出 Galvatron-BMW 系统框架,通过决策树剪枝、动态规划和双目标工作负载均衡优化,自动搜索最优混合并行策略,在多种 GPU 内存约束下提升 Transformer 分布式训练吞吐量。
2024-02-24 cs.DB cs.DC cs.LG
Predicting the Performance of a Computing System with Deep Networks
Newcastle University(纽卡斯尔大学);Durham University(杜伦大学)
预测计算硬件的性能和能耗对于许多现代应用至关重要。这将为采购决策、部署决策和自主扩展提供信息。了解硬件性能的现有方法主要集中在基准测试上-利用标准化的工作负载,这些工作负载试图代表最终用户的需求。目前存在两个关键挑战:基准测试工作负载可能无法代表最终用户的工作负载,并且无法轻松获得所有硬件的基准测试分数。在本文中,我们展示了构建深度学习模型来预测未知硬件的基准测试分数的潜力。我们使用公开的SPEC 2017基准结果进行评估。我们评估了三个不同的网络,一个完全连接的网络和两个卷积神经网络(一个是定制的,一个是ResNet启发的),并展示了令人印象深刻的$R^2$分数分别为0.96,0.98和0.94。
2023-02-27 cs.LG cs.NE
Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);miHoYo Inc(米哈游公司);Tokyo Institute of Technology(东京工业大学);RIKEN Center for Computational Science(理化学研究所计算科学研究中心)
硬件加速器的专用存储器可能不足以存储大型深度学习模型的所有权重和/或中间状态。虽然模型并行是一种可行的方法来减少内存压力的问题,显着修改的源代码和算法的考虑是必需的。另一种解决方案是使用核外方法来代替数据并行性,或者除了数据并行性之外还使用核外方法。我们提出了一个性能模型的基础上的并发分析的核心外的训练行为,并得出一个策略,结合层交换和冗余重计算。我们在六种不同的模型中实现了平均1.52倍的加速比,超过了最先进的核外方法。我们还介绍了第一种方法来解决具有挑战性的问题的核心外多节点训练,通过仔细流水线梯度交换和执行参数更新的主机。我们的数据并行核外解决方案在训练大型模型(例如Megatron-LM和Turning-NLG)时,性能优于复杂的混合模型并行。
2020-08-26 cs.DC cs.LG