Power Reduction of Automatic Heterogeneous Device Offloading
近年来,除了诸如GPU、FPGA或多核CPU的小核CPU之外的异构硬件的利用率正在增加。然而,当使用异构硬件时,CUDA等技术技能的障碍很高。在此基础上,我提出了环境自适应软件,使自动转换,配置,高性能和低功耗操作的一次编写的代码,根据硬件放置。到目前为止,我还验证了自动GPU和FPGA卸载的性能改进。在本文中,我通过确认自动卸载后的功率利用率来验证具有环境适应性的低功率操作。我比较了现有应用程序在自动卸载后的瓦特 * 秒与仅CPU处理的情况。
2021-08-20 cs.DC
Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms
University of California Merced(加州大学默塞德分校)
广泛采用的做法是使用专用硬件加速器训练深度学习模型,例如,GPU或TPU,由于其在线性代数运算上的卓越性能。然而,这种策略并没有有效地利用大量的CPU和内存资源--它们只用于预处理、数据传输和调度--这些资源在加速服务器上默认可用。在本文中,我们研究了异构CPU + GPU架构上的深度学习训练算法。我们的双重目标-同时最大化收敛速度和资源利用率-使问题具有挑战性。为了允许对设计空间进行原则性探索,我们首先介绍了一个通用的深度学习框架,该框架通过异步消息传递利用CPU和GPU之间的计算能力和存储层次结构的差异。通过实验的框架获得的见解的基础上,我们设计了两个异构异步随机梯度下降(SGD)算法。第一种算法-CPU + GPU Hogbatch-将CPU上的小批量与GPU上的大批量相结合,以最大限度地利用两种资源。然而,这会产生一个不平衡的模型更新分布,这阻碍了统计收敛。第二种算法-自适应Hogbatch-根据CPU和GPU的相对速度分配具有不断变化的大小的批次。这以可定制的利用率降低为代价来平衡模型更新率。我们表明,在拟议的CPU + GPU框架中实现这些算法,在几个真实数据集和两个计算架构(本地服务器和云实例)上实现了比TensorFlow更快的收敛和更高的资源利用率。
2020-04-19 cs.DB cs.DC cs.LG
Two stage cluster for resource optimization with Apache Mesos
由于作业的资源估计是困难的,用户经常高估他们的需求。商业云和学术园区集群都存在资源利用率低和等待时间长的问题,因为用户提供的作业资源估计不准确。我们提出了一种方法来统计估计的实际资源需求的作业在一个小集群运行之前,在一个大集群。对小集群的初始估计为我们提供了一个作业需要多少实际资源的视图。这个初始估计允许我们准确地为队列中的挂起作业分配资源,从而提高吞吐量和资源利用率。在我们的实验中,我们确定了资源利用率估计,内存的平均准确度为90%,CPU的平均准确度为94%,而与Apache Aurora和Apache Mesos上的默认作业提交方法相比,我们的内存利用率平均提高了22%,CPU利用率提高了53%。
2019-05-22 cs.DC
Using ATLAS@Home to exploit extra CPU from busy grid sites
网格计算通常为大型高能物理实验提供大部分数据处理资源。然而,典型的网格站点并没有被常规的工作负载充分利用。为了提高这些网格站点的CPU利用率,可以使用ATLAS@Home志愿者计算框架作为一种并行机制。结果表明,额外的15%到42%的CPU周期可以被运行常规工作负载的网格站点利用,而整体CPU利用率可以保持在90%以上。回填对网格作业的失败率没有影响,对网格作业的CPU效率的影响从1%到11%不等,具体取决于站点的配置。此外,回填作业的吞吐量(以每个模拟事件的CPU时间表示)与专用于ATLAS@Home的资源相同。这种方法是足够通用的,它可以很容易地扩展到其他集群。
2018-11-29 cs.DC hep-ex physics.comp-ph
GPU Memory and Utilization Estimation for Training-Aware Resource Management: Opportunities and Limitations
IT University of Copenhagen(哥本哈根信息技术大学);University of Copenhagen(哥本哈根大学)
本文分析了三种GPU内存估计方法的优劣,通过合成数据集评估了其准确性与通用性,并指出分析模型、CPU库和ML方法在通用性和硬件适应性上的局限。
2026-04-27 cs.DC
Taming GPU Underutilization via Static Partitioning and Fine-grained CPU Offloading
KTH Royal Institute of Technology(皇家理工学院);William & Mary(威廉与玛丽学院)
本文通过静态分区和细粒度CPU卸载技术,减少GPU资源空置,提升系统吞吐量和能效,同时解决多实例GPU在HPC工作负载中的性能干扰问题。
2026-04-09 cs.DC
WindVE: Collaborative CPU-NPU Vector Embedding
针对大语言模型推理服务中向量嵌入环节资源利用率待提升的问题,提出WindVE系统,通过CPU-NPU异构架构和带最优队列深度调控的队列管理器卸载峰值查询,并发水平较无卸载方案最高提升22.3%。
2025-06-13 cs.DC
Container Profiler: Profiling Resource Utilization of Containerized Big Data Pipelines
本文介绍了容器分析器,一个软件工具,测量和记录任何容器化任务的资源使用情况。我们的工具分析了容器化任务的CPU、内存、磁盘和网络利用率,在虚拟机、容器和进程级别收集了50多个Linux操作系统指标。Container Profiler支持以可配置的采样间隔执行时间序列分析,以持续监控容器化任务和管道消耗的资源。为了研究Container Profiler的实用性,我们分析了多阶段生物信息学分析管道(使用独特分子标识符的RNA测序)的资源利用要求。我们检查分析指标,以评估跨管道的不同阶段的CPU、磁盘和网络资源利用率的模式。我们还量化了我们的容器分析器工具的分析开销,以评估分析具有不同级别的分析粒度的运行管道的影响,验证影响可以忽略不计。Container Profiler提供了一个有用的工具,可用于持续监控本地或云上运行的长时间复杂容器化应用程序的资源消耗。这可以帮助识别需要更多资源来提高性能的瓶颈。
2023-02-07 cs.DC cs.PF
Optimized Memoryless Fair-Share HPC Resources Scheduling using Transparent Checkpoint-Restart Preemption
超级计算系统中常用的资源管理方法通常包括硬划分、封顶和配额分配。这些方法,尽管它们的“缺点”,有一些已知的严重缺点,包括未优化利用昂贵的设施,偶尔仍然需要动态重新调度和重新分配的资源。因此,这些方法涉及糟糕的供需管理,而不是最终提高系统利用率和生产力的自由市场。在这项工作中,我们提出了新的优化无内存公平共享HPC资源调度使用透明的检查点重启抢占,其中社会福利增加使用免费的成本可互换的专有占有计划。因此,我们在资源分配的公平性方面永久保持现状,同时最大限度地提高所有用户在更长时间内实现更多CPU和CPU小时数的能力,而无需任何非直接成本,处罚或额外的人为干预。
2021-02-25 cs.DC
On Optimizing Resource Utilization in Distributed Connected Components
本文提出两种新的分布式连通组件算法SiskinCC和RobinCC,通过优化内存和网络带宽利用率,实现显著的加速效果。
2026-01-05 cs.DC
Task Assignment in Distributed Systems based on PSO Approach
在分布式系统中,任务分配问题(TAP)是影响系统效率的关键因素. TAP说明了任务到每台计算机的处理器的适当分配。在这个问题中,到目前为止所提出的方法试图最小化Makespan并最大化CPU利用率。由于该问题是NP完全问题,许多遗传算法被提出来从整个解空间搜索最优解。现有的方法忽略了可以降低优化复杂度的技术,而是扫描整个解空间。另一方面,这种方法是耗时的调度,这被认为是一个缺点。因此,本文提出了一种混合遗传算法来克服这一缺点。将粒子群优化算法(PSO)作为局部搜索算法应用于遗传算法中。仿真结果表明,该方法在CPU利用率和最大生存时间方面优于基于遗传算法的方法。
2021-11-30 cs.DC
Parallelizing Workload Execution in Embedded and High-Performance Heterogeneous Systems
在本文中,我们介绍了一个软件定义的框架,使所有的可编程处理资源的并行利用异构片上系统(SoC),包括基于FPGA的硬件加速器和可编程CPU。考虑了两个具有不同架构的平台,并且在这两个平台中使用单个C/C++源代码用于CPU和FPGA资源。而不是简单地使用硬件加速器从CPU卸载任务,我们提出了一个调度器,动态分配的任务之间的所有资源,充分利用所有的计算设备,同时最大限度地减少负载不平衡。多架构研究比较了ARMV7和ARMV 8实现与不同数量和类型的CPU核心,也不同的FPGA微架构和大小。我们的测量结果表明,这两个平台都受益于CPU内核在相同的能源需求水平下协助FPGA执行。
2018-02-09 cs.DC
Dynamic Resource Allocation Method for Load Balance Scheduling over Cloud Data Center Networks
云数据中心有许多主机和应用程序请求,其中资源是动态的。对资源分配的要求是多种多样的。这些因素可能导致负载不平衡,从而影响调度效率和资源利用率。提出了一种基于动态资源分配的负载均衡调度方法(DRALB)。所提出的解决方案包括两个步骤:首先,负载管理器分析资源需求,如CPU,内存,能量和带宽使用情况,并为每个应用程序分配适当数量的VM。其次,收集和更新资源信息,其中资源根据资源的负载(即,CPU密集型、存储器密集型、能量密集型和带宽密集型)被分类为四个队列。我们证明SLA感知调度不仅方便了云消费者的资源可用性,提高吞吐量,响应时间等,但也最大限度地提高云利润与较少的资源利用率和SLA(服务水平协议)违规处罚。该方法是基于客户端应用程序的多样性和搜索特定部署的最佳资源。基于平均响应时间、资源利用率、SLA违规率和负载均衡等参数进行了实验。实验结果表明,该方法可以减少资源的浪费,并减少了44.89和58.49在网络中的流量。
2022-11-04 cs.DC
An Experimental and Comparative Benchmark Study Examining Resource Utilization in Managed Hadoop Context
将基于云的Hadoop从IaaS过渡到PaaS(在商业上被概念化为按使用付费或按使用付费)通常会降低相关的系统成本。然而,托管Hadoop系统确实向最终用户呈现了一种黑盒行为,他们无法清楚内部性能动态,因此无法清楚利用它们的好处。在这项研究中,我们的目标是从资源利用率的角度来理解托管Hadoop上下文。我们利用了三个实验性的Hadoop on-PaaS提案,因为它们开箱即用,并执行了HiBench Benchmark Suite的Hadoop特定工作负载。在基准测试执行期间,我们收集了工作节点上的系统资源利用率数据。结果表明,云服务之间相同的属性规范并不能保证附近的性能输出,也不能保证内部一致的结果。我们假设托管系统的架构和预配置在性能中起着重要的作用。
2021-12-19 cs.DC
An Efficient Approach for Energy Conservation in Cloud Computing Environment
Veer Surendra Sai University of Technology(维尔·苏伦德拉·萨伊理工学院);National Institute of Technology, Warangal(瓦朗加尔国家技术学院)
本文提出了一种任务调度算法,通过提高资源利用率来减少云计算环境中的能源消耗。
2025-12-02 cs.DC
Study of Resource Amount Configuration for Automatic Application Offloading
近年来,除了诸如GPU、FPGA或多核CPU的小核CPU之外的异构硬件的利用率正在增加。然而,当使用异构硬件时,诸如OpenMP、CUDA和OpenCL等技术技能的障碍很高。在此基础上,我提出了环境适应软件,根据要放置的硬件,可以自动转换,配置和高性能操作一次编写的代码。然而,尽管到目前为止已经研究了根据迁移目的地环境的代码转换,但是还没有研究适当地设置资源量。本文作为环境自适应软件的一个新元素,为了使应用程序能够以高性价比运行,研究了一种优化CPU资源量和卸载设备的方法。
2020-11-20 cs.DC
Optimizing High-Throughput Distributed Data Pipelines for Reproducible Deep Learning at Scale
Uber Technologies(优步科技公司)
本文通过Petastorm数据加载器和Apache Parquet数据集优化分布式GPU训练流水线,解决数据加载瓶颈,提升GPU利用率至60%以上,减少训练时间至3小时,实现高吞吐可重复大规模模型训练。
2026-04-23 cs.DC
OnePiece: A Large-Scale Distributed Inference System with RDMA for Complex AI-Generated Content (AIGC) Workflows
Tencent(腾讯)
OnePiece通过RDMA优化和微服务分解,提升AIGC工作流的吞吐量和资源利用率,减少GPU资源消耗16倍。
2026-01-28 cs.DC
Driving Computational Efficiency in Large-Scale Platforms using HPC Technologies
Universidad Industrial de Santander(桑坦德工业大学);Centre for Energy, Environmental and Technological Research (CIEMAT)(能源、环境与技术研究中心);LIG/INRIA DataMove(格勒诺布尔信息与自动化实验室/法国国家信息与自动化研究所数据移动项目);CITI/INRIA SiNDY(信息交叉技术研究中心/法国国家信息与自动化研究所SiNDY项目)
本文通过分析LAGO项目中HPC资源利用效率,揭示了粗粒度任务并行模型下的资源消耗模式,并提出优化资源请求和工作流管理策略以提升计算效率。
2026-01-19 cs.DC
Serving Hybrid LLM Loads with SLO Guarantees Using CPU-GPU Attention Piggybacking
University of Macau(澳门大学)
本文提出OmniServe系统,利用CPU和GPU资源缓解LLM服务间的干扰,提升吞吐量。通过注意力并行机制将BE服务的注意力计算卸载到CPU,同时动态批处理策略提升密集模块计算效率,实验表明在满足LS服务SLO的同时,BE服务吞吐量提升达9.85倍。
2026-03-17 cs.DC
A Study on Using Uncertain Time Series Matching Algorithms in MapReduce Applications
在本文中,我们研究了几个Map-Reduce应用程序的CPU利用率时间模式。在提取多个应用程序的运行模式后,将模式及其统计信息保存在参考数据库中,以便稍后用于调整系统参数,以便将来有效地执行未知应用程序。为了实现这一目标,将新应用程序的CPU利用率模式及其统计信息与参考数据库中已知的CPU利用率模式进行比较,以找到/预测它们最可能的执行模式。由于不同的模式长度,动态时间规整(DTW)用于这样的比较,然后应用于DTW的结果的统计分析,以选择最合适的候选人。此外,在一个假设下,提出了另一种算法来分类相似的CPU利用率模式下的应用程序。三个广泛使用的文本处理应用程序(WordCount,分布式Grep,和Terasort)和另一个应用程序(CummMainlog解析)被用来评估我们的假设,在执行类似的应用程序中调整系统参数。实验结果表明,该方法在5节点Map-Reduce平台上是有效的
2013-01-18 cs.AI cs.DC cs.LG
Efficient Irregular Wavefront Propagation Algorithms on Hybrid CPU-GPU Machines
在本文中,我们解决的问题,高效执行的计算模式,在这里被称为不规则波前传播模式(IWPP),在混合动力系统与多个CPU和GPU。IWPP在若干图像处理操作中是通用的。在IWPP中,如果满足传播条件,则波前中的数据元素将波传播到网格上的其相邻元素。接收传播波的元件成为波前的一部分。这种模式导致不规则的数据访问和计算。我们开发和评估的策略,使用多级队列结构的波前的有效计算和传播。这种队列结构提高了GPU中快速存储器的利用率,并减少了同步开销。我们还开发了一个基于瓦片的并行化策略,以支持在多个CPU和GPU上执行。我们评估我们的方法在一个国家的最先进的GPU加速机器(配备3个GPU和2个多核CPU)使用IWPP实现两个广泛使用的图像处理操作:形态重建和欧氏距离变换。我们的研究结果表明,GPU的性能显着改善。多个CPU和GPU的协同使用相对于单核CPU执行分别实现了50倍和85倍的加速比,用于形态重建和欧几里得距离变换。
2012-09-14 cs.DC cs.DS
Heterogeneous CPU/GPU co-execution of CFD simulations on the POWER9 architecture: Application to airplane aerodynamics
高保真计算流体动力学模拟通常与大型计算需求相关联,随着每一代新的超级计算机的出现,这种需求越来越尖锐。然而,需要大量的研究工作来解锁前沿系统的计算能力,目前被称为pre-Exascale系统,基于日益复杂的架构。在本文中,我们提出了在计算力学代码Alya中实现的方法。我们详细描述的并行化策略,充分利用不同层次的并行性,以及一种新的协同执行方法,异构CPU/GPU架构的有效利用。后者是基于多代码协同执行的方法与动态负载均衡机制。所有提出的策略的性能评估已经进行了飞机模拟的POWER 9架构与NVIDIA伏打V100 GPU加速。
2020-07-06 cs.CE cs.DC
AcOrch: Accelerating Sampling-based GNN Training under CPU-NPU Heterogeneous Environments
Northeastern University(东北大学);National University of Singapore(新加坡国立大学)
针对CPU-NPU异构平台,提出AcOrch系统,通过两级流水线执行模型和细粒度任务编排,实现采样、特征收集和训练的重叠执行,平均加速2.31倍。
2026-05-31 cs.DC
PRICE: Pricing-based Resource Incentives for Quality-of-Result-aware Computing at the Edge
Technical University of Darmstadt(达姆施塔特工业大学)
针对边缘节点过载下请求质量灵活性未被充分利用的问题,提出PRICE定价激励机制,可提升边缘节点的接受吞吐量与CPU利用率,且性能鲁棒。
2026-08-24 cs.DC
Pattern Matching for Self- Tuning of MapReduce Jobs
在本文中,我们研究了几个MapReduce应用程序的CPU利用率时间模式。在提取几个应用程序的运行模式后,它们被保存在一个参考数据库中,以便以后用于调整系统参数,以便将来有效地执行未知的应用程序。为了实现这一目标,将新应用程序的CPU利用率模式与参考数据库中已知的CPU利用率模式进行比较,以找到/预测它们最可能的执行模式。由于不同的模式长度,动态时间规整(DTW)是用于这样的比较,相关性分析,然后应用到DTW的结果,以产生可行的相似性模式。三个真实的应用程序(WordCount,Tumblm Mainlog解析和Terasort)被用来评估我们的假设,在执行类似的应用程序中调整系统参数。结果是非常有希望的,并显示了我们的方法在伪分布式MapReduce平台上的有效性。
2013-01-21 cs.AI cs.DC cs.LG
Deep Tensor Convolution on Multicores
三维内核的深度卷积神经网络(ConvNets)允许时空特征的联合建模。这些网络提高了视频和体积图像分析的性能,但由于GPU硬件的内存上限较低,因此在大小上受到限制。现有的CPU实现克服了这一限制,但速度慢得不切实际。在这里,我们扩展和优化更快的Winograd类卷积算法的$N$维的情况下,特别是CPU硬件。首先,我们消除了手工手工制作算法的需要,利用宽松的约束和廉价的稀疏访问CPU内存。其次,我们通过将数据矩阵转换为缓存感知的AVX向量宽度的整数倍,最大限度地提高CPU利用率和多核可扩展性。将二维ConvNets视为我们方法的特殊(和最不利)情况,我们证明了与以前的最先进技术相比,吞吐量提高了5到25倍。
2017-06-11 cs.CV cs.DC cs.NE
Hotspot-Aware Scheduling of Virtual Machines with Overcommitment for Ultimate Utilization in Cloud Datacenters
Peking university(北京大学);Huawei Technologies Company Ltd(华为技术有限公司)
本文提出一种考虑虚拟机动态CPU利用率的调度方法,采用Γ-鲁棒性理论和概率k-装箱算法,通过CloseRadiusFit和冷启动AI预测算法提升资源利用率,实验表明其在最优解附近有较小的差距。
2026-04-01 cs.DC math.PR
GraphACT: Accelerating GCN Training on CPU-FPGA Heterogeneous Platforms
University of Southern California(南加州大学)
图卷积网络(GCN)已经成为图上表示学习的最先进的深度学习模型。加速GCN的训练是具有挑战性的,这是由于(1)在图内传播信息的大量且不规则的数据通信,以及(2)沿着神经网络层传播信息的密集计算。为了解决这些挑战,我们设计了一种新的加速器,用于在CPU-FPGA异构系统上训练GCN,通过将多个算法架构协同优化。我们首先分析了各种GCN训练算法的计算和通信特性,并选择了一个基于子图的算法,非常适合硬件执行。为了优化子图内的特征传播,我们提出了一个轻量级的预处理步骤的基础上的图论方法。在CPU上执行的这种预处理显著减少了存储器访问要求和要在FPGA上执行的计算。为了加速GCN层的权重更新,我们提出了一种基于脉动阵列的高效并行化设计。我们将上述优化集成到一个完整的硬件流水线中,并通过精确的性能建模来分析其负载平衡和资源利用率。我们在由40核Xeon服务器托管的Xilinx Alveo U200板上评估我们的设计。在三个大图上,与多核平台上最先进的实现相比,我们实现了一个数量级的训练加速,精度损失可以忽略不计。
2019-12-31 cs.DC cs.LG
10Cache: Heterogeneous Resource-Aware Tensor Caching and Migration for LLM Training
Kuwait University, Kuwait(科威特大学)
针对云端LLM训练的内存瓶颈与现有卸载方案的缺陷,提出异构资源感知的张量缓存迁移系统10Cache,通过智能协调多层存储、优化预取与内存分配,显著提升训练速度与资源利用率。
2025-11-18 cs.DC cs.LG
VUPIC: Virtual Machine Usage Based Placement in IaaS Cloud
高效的资源分配是基础设施即服务(IaaS)云中的关键性能挑战之一。虚拟机(VM)放置和迁移决策方法是这些资源分配机制的组成部分。我们提出了一种新的虚拟机布局算法,该算法在考虑布局决策时考虑了虚拟机之间的性能隔离及其连续的资源使用情况。性能隔离是对基本低级硬件资源(CPU、内存、存储和网络带宽)感兴趣的虚拟机之间的资源争用形式。多个共同托管的相邻VM之间的资源竞争形成了所提出的新方法的基础。实验结果显示,不同类别的应用程序和性能隔离和资源竞争的影响。一个每虚拟机的3维资源利用率向量(RUV)已连续计算和用于放置决策,同时考虑到冲突的资源利益的虚拟机。使用新的布局算法VUPIC的实验表明,虚拟机的性能以及云的整体资源利用率的有效改善。
2012-12-01 cs.DC
Power-Capping Metric Evaluation for Improving Energy Efficiency in HPC Applications
本文针对百亿亿次高性能计算,利用NVIDIA GH200架构探索集成CPU-GPU功率限制优化,通过加速比-能耗-延迟和欧几里得多目标方法评估,发现动态功率调整可显著提升应用能效。
2025-06-24 cs.CE cs.DC cs.PF
Unleashing the Power of Distributed CPU/GPU Architectures: Massive Astronomical Data Analysis and Visualization case study
即将到来的和未来的天文学研究设施将系统地生成TB大小的数据集,将天文学带入Petascale数据时代。虽然这些设施将为天文学家提供前所未有的准确度和覆盖范围,但数据集大小和维度的增加将对许多当前的天文学数据分析和可视化工具构成严重的计算挑战。在这样的数据大小的情况下,即使是简单的数据分析任务(例如,计算直方图或计算数据最小值/最大值)在不访问超级计算设施的情况下也可能无法实现。为了有效地处理这样的数据集大小,这超过了今天的单机内存和处理限制,我们提出了一个框架,利用GPU和众核CPU的分布式电源,目标是提供数据分析和可视化任务作为天文学家的服务。通过混合共享和分布式内存架构,我们的框架有效地利用底层硬件基础设施处理批处理和实时数据分析和可视化任务。以“软件即服务”的方式提供这种功能作为服务将降低总拥有成本,为更广泛的天文社区提供易于使用的工具,并使底层硬件基础设施的利用更加优化。
2011-11-29 astro-ph.IM cs.DC
ReLeaSER: A Reinforcement Learning Strategy for Optimizing Utilization Of Ephemeral Cloud Resources
Univ. Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(IRISA研究所);Univ Brest(布雷斯特大学);Lab-STICC(Lab-STICC实验室)
云数据中心容量过度配置,以应对需求高峰和硬件故障,导致资源利用率低。提高资源利用率并因此降低总拥有成本的一种方式是以较低的价格提供未使用的资源(称为短暂资源)。但是,转售资源需要满足其客户在服务质量方面的期望。我们的目标是最大化回收资源的数量,同时避免SLA惩罚。为了实现这一目标,云提供商必须估计其未来的利用率,以提供可用性保证。预测应该考虑资源的安全裕度,以应对不可预测的工作负载。面临的挑战是找到安全余量,在回收的资源量和违反SLA的风险之间提供最佳权衡。大多数现有技术的解决方案考虑用于所有类型的度量(例如,CPU、RAM)。然而,唯一的固定余量不考虑随着时间的推移可能导致SLA违规或/和利用率低下的各种工作负载变化。为了应对这些挑战,我们提出了ReLeaSER,一种强化学习策略,用于优化云中临时资源的利用率。ReLeaSER在主机级别为每个资源度量动态调整安全裕度。该策略从过去的预测错误(导致SLA违规)中学习。我们的解决方案将SLA违规处罚平均降低了2.7倍,最高可降低3.4倍。它还大大提高了CP的潜在节省,平均节省27.6%,最高可达43.6%。
2020-12-10 cs.DC cs.LG cs.PF
Hardware Utilization and Inference Performance of Edge Object Detection Under Fault Injection
Hamm-Lippstadt University of Applied Sciences (HSHL)(哈姆-利普施塔特应用科学大学(HSHL))
研究通过故障注入测试评估了TensorRT优化的YOLO模型在边缘平台上的硬件行为,发现其在资源降级下保持稳定性能,为边缘推断可靠性提供硬件层面的视角。
2026-05-15 cs.AI cs.DC
DLRover-RM: Resource Optimization for Deep Recommendation Models Training in the Cloud
Sichuan University(四川大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校);Computer Network Information Center, Chinese Academy of Science(中国科学院计算机网络信息中心)
本文针对云环境中DLRM训练资源利用率低和不稳定的问题,提出弹性训练框架DLRover-RM,通过资源-性能模型与三阶段启发式策略自动分配和动态调整资源,显著缩短作业完成时间并提升资源利用率。
2024-06-28 cs.AI cs.DB cs.DC
RDMAvisor: Toward Deploying Scalable and Simple RDMA as a Service in Datacenters
云计算平台越来越多地采用RDMA来提供低CPU开销、低延迟、高吞吐量的网络服务。然而,另一方面,它仍然是具有挑战性的开发人员实现快速部署的RDMA感知的应用程序在数据中心,因为性能是高度相关的许多低层次的细节的RDMA操作。为了解决这个问题,我们提出了一个简单且可扩展的RDMA即服务(RaaS),以减轻RDMA操作细节的影响。RaaS提供了细致的消息缓冲区管理,以提高CPU/内存利用率并提高RDMA操作的可扩展性。这些优化设计为普通用户和知识渊博的用户提供了简单灵活的编程模型。我们已经实现了一个原型的RaaS,名为RDMAvisor,并评估其性能的集群与大量的连接。我们的实验结果表明,RDMAvisor实现了高吞吐量的数千个连接,并保持低的CPU和内存开销,通过自适应的RDMA传输选择。
2018-02-06 cs.DC cs.NI cs.PF
A Frequency Scaling based Performance Indicator Framework for Big Data Systems
对于大数据系统来说,识别其性能瓶颈非常重要。然而,诸如资源利用等流行的指标往往具有误导性,并且彼此之间不可比。本文提出了一种新的指标框架,可以直接比较不同的指标相互之间的影响,有效地识别和分析的性能瓶颈。一种方法,它可以构造的指标,从性能变化与CPU频率缩放。以Spark作为大数据系统的实例,以两个典型的SQL基准测试作为工作负载,对所提方法进行了评估。实验结果表明,与资源利用率方法相比,该方法具有较高的准确性,与白盒方法相比,该方法易于实现。同时,通过对指标的分析,得出了一些有趣的结论,并为大数据系统的性能优化提供了有价值的建议。
2018-11-27 cs.DB cs.DC
Optimizing Task Scheduling in Heterogeneous Computing Environments: A Comparative Analysis of CPU, GPU, and ASIC Platforms Using E2C Simulator
本研究利用E2C模拟器在CPU、GPU、ASIC构成的异构计算环境中,对比了四种任务调度算法在不同负载下的性能与能效,发现MECT和MEET算法综合表现更优,为资源受限场景的调度决策提供参考。
2024-05-13 cs.DC cs.OS
Efficient Resource Sharing Through GPU Virtualization on Accelerated High Performance Computing Systems
高性能计算(HPC)领域正在见证图形处理单元(GPU)作为传统同构集群的协处理器的广泛采用。基于GPU的并行处理采用流行的单程序多数据(SPMD)编程范式,带来了处理器/协处理器分布不对称、资源利用率低的挑战。换句话说,在SPMD下,需要均衡的CPU/GPU分布以确保充分的资源利用率。在本文中,我们提出了一种GPU资源虚拟化的方法,使未充分利用的微处理器,有效地共享GPU。我们提出了一个有效的GPU共享方案,通过GPU虚拟化实现,并通过执行模型分析性能潜力。我们进一步提出的虚拟化基础设施的实施细节,其次是实验分析。结果表明,GPU虚拟化带来了可观的性能提升。此外,所提出的解决方案能够充分利用非对称资源,通过有效的GPU共享之间的微处理器,同时由于增加的虚拟化层,导致低开销。
2015-11-24 cs.DC cs.PF
The SAP Cloud Infrastructure Dataset: A Reality Check of Scheduling and Placement of VMs in Cloud Computing
TU Dresden(德累斯顿工业大学);SAP SE(思爱普)
本文基于SAP云平台的大规模实测数据集,分析了企业级云环境中虚拟机调度的多种次优问题,提出了算法设计要求并公开数据集以支撑后续研究。
2025-10-27 cs.DC cs.PF
MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学)
本文提出高吞吐量 MoE 批量推理系统 MoE-Lightning,通过 CGOPipe 流水线调度、分页权重和分层 Roofline 性能模型,在内存受限的低成本 GPU 上显著提升 Mixtral 等大模型推理吞吐量。
2024-11-18 cs.AI cs.DC cs.LG