Beaver: Elastic GPU Sharing between ML and Latency-Critical vRAN Workloads
Duke University(杜克大学)
Beaver通过动态调整SM分配和重写ML内核,在共享GPU上保护vRAN延迟关键型工作负载的截止时间,同时保留74%的LLM服务吞吐量。
2026-10-05 cs.DC cs.NI
CarbonScaler: Leveraging Cloud Workload Elasticity for Optimizing Carbon-Efficiency
提出CarbonScaler,利用云批处理工作负载弹性,通过基于电网碳成本动态调整服务器分配的贪婪算法,显著降低碳排放并优于现有策略。
2023-10-19 cs.DC
A Tale of Two Scales: Reconciling Horizontal and Vertical Scaling for Inference Serving Systems
本文提出Themis系统,结合水平与垂直扩展的两阶段自动扩展策略,通过动态规划优化推理服务资源,实现SLO违规降低超10倍并保持资源效率。
2024-07-20 cs.DC
CloudyGUI: A Novel Python-based Framework for Auto-Scaling and Cloud Workload Analysis
Guru Nanak Dev University(古鲁纳克德夫大学)
提出CloudyGUI框架,通过工作负载生成、预测(XGBoost和LSTM)和基于MAPE循环的自动缩放三阶段流程,实现云资源管理策略的测试与验证,并验证了其与真实数据的高度一致性。
2026-07-02 cs.DC
VERA: Reinforcement Learning for Dynamic Memory Scaling of HPC Workloads in Kubernetes
KTH Royal Institute of Technology(皇家理工学院);William & Mary(威廉与玛丽学院)
本文提出基于强化学习的VERA推荐器,将Kubernetes中HPC工作负载的垂直内存扩展建模为马尔可夫决策过程,在真实轨迹上训练,实验表明其可回收31.6%内存余量并减少OOM事件,优于默认VPA。
2026-09-18 cs.DC
Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);miHoYo Inc(米哈游公司);Tokyo Institute of Technology(东京工业大学);RIKEN Center for Computational Science(理化学研究所计算科学研究中心)
硬件加速器的专用存储器可能不足以存储大型深度学习模型的所有权重和/或中间状态。虽然模型并行是一种可行的方法来减少内存压力的问题,显着修改的源代码和算法的考虑是必需的。另一种解决方案是使用核外方法来代替数据并行性,或者除了数据并行性之外还使用核外方法。我们提出了一个性能模型的基础上的并发分析的核心外的训练行为,并得出一个策略,结合层交换和冗余重计算。我们在六种不同的模型中实现了平均1.52倍的加速比,超过了最先进的核外方法。我们还介绍了第一种方法来解决具有挑战性的问题的核心外多节点训练,通过仔细流水线梯度交换和执行参数更新的主机。我们的数据并行核外解决方案在训练大型模型(例如Megatron-LM和Turning-NLG)时,性能优于复杂的混合模型并行。
2020-08-26 cs.DC cs.LG
ARC-V: Vertical Resource Adaptivity for HPC Workloads in Containerized Environments
本文针对容器化环境中HPC工作负载的动态资源消耗问题,提出ARC-V策略,通过结合KubernetesPod的实时资源更新和HPC应用的内存消耗模式,实现节点级别的弹性内存资源配置,有效减少内存使用并避免内存溢出。
2025-05-05 cs.DC
An Elastic Ephemeral Datastore using Cheap, Transient Cloud Resources
Spot实例是以60-90%的成本提供的虚拟机,可以随时回收,只有很短的警告期。Spot实例已经被用于显著降低云中处理工作负载的成本。然而,利用spot实例来降低有状态云应用程序的成本更具挑战性,因为突然的抢占会导致数据丢失。在这项工作中,我们建议利用现货实例,以减少分布式数据分析应用程序中的短暂数据管理的成本。我们专门针对短暂数据,因为现代分析工作负载中的这一大类数据具有较低的持久性要求;如果丢失,可以通过重新执行计算任务来重新生成数据。我们设计了一个弹性的,分布式的短暂的数据交换,处理节点抢占透明的用户应用程序和最大限度地减少数据丢失,在节点抢占警告期间重新分配数据。我们在ApacheCrailTM上实现了我们的弹性服务器,并使用各种工作负载和VM类型来评估系统。通过利用现货实例,我们表明,我们可以运行TPC-DS查询,与使用按需虚拟机的TPC-DS查询相比,成本降低了60%,而端到端的执行时间只增加了2.1%。
2022-05-23 cs.DB cs.DC
Enabling Elastic Model Serving with MultiWorld
针对大模型推理服务动态负载、故障影响用户且传统CCL无法弹性扩缩容的问题,提出支持工作节点级容错与在线扩缩容的MultiWorld方案,多数场景下吞吐量损失仅1.4%-4.3%。
2024-07-12 cs.DC
Trevor: Automatic configuration and scaling of stream processing pipelines
大规模有效地操作分布式数据流处理工作负载是困难的。工作负载的操作者必须利用与目标数据率的要求相匹配的资源来并行化和布局工作负载的任务。挑战在于,操作员和程序员通常都不知道工作负载作为资源函数的扩展行为。操作员手动搜索可以处理预测峰值负载的安全操作点,并部署足够的净空以吸收不可预测的峰值。这种经验性的静态过度配置浪费了计算和人力资源。我们表明,精确的性能模型可以自动学习的分布式流处理系统,可以预测执行性能的工作,甚至在部署之前。此外,这些模型可以用来优化调度逻辑上指定的作业到可用的物理硬件。最后,这些模型和派生的执行计划可以在线优化,以动态适应运行时环境中不可预测的变化,或者随着作业负载的变化自动扩展。
2018-12-22 cs.DC
Exploiting Inherent Elasticity of Serverless in Irregular Algorithms
无服务器计算,特别是功能即服务(FaaS)执行模型,最近已被证明是有效的运行大规模计算。然而,很少有人注意到高度并行的应用程序与不平衡和不规则的工作负载。通常,由于无法提前预测其计算资源,这些工作负载一直被排除在云之外,经常导致严重的资源过度和不足情况。然而,我们在本文中的主要观点是,无服务器计算技术的弹性和易于管理性可能是首次在云中有效运行这些有问题的工作负载的关键推动因素。更具体地说,我们证明了一个简单的无服务器的执行器池抽象可以实现更好的成本-性能权衡比静态大小的Spark集群建立在大型EC2虚拟机。为了支持这一结论,我们评估三个不规则的算法:不平衡树搜索(UTS),Mandelbrot集使用的Mariani-Silver算法和介数中心性(BC)的随机图。例如,我们的UTS无服务器实现能够以相同的成本超过Spark高达55%。我们还表明,使用相同数量的虚拟CPU,无服务器环境在BC算法中的性能可以超过大型EC2 10%。这提供了第一个具体的证据,表明高度并行的不规则工作负载可以使用纯无状态函数有效地执行,对用户几乎没有负担,即,用户无需了解不明显的系统级参数和优化。此外,我们还表明,UTS可以从FaaS按需付费计费模式中受益,这使得首次启用某些应用程序级优化具有价值,这些优化可以带来显着的改进(例如41%),而成本的增加可以忽略不计。
2022-06-30 cs.DC
Wasserstein Adversarial Transformer for Cloud Workload Prediction
University of Georgia(佐治亚大学);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
预测性虚拟机(VM)自动扩展是一种很有前途的技术,可以优化云应用程序的运营成本和性能。了解作业到达率对于准确预测云工作负载的未来变化以及主动配置和取消配置用于托管应用程序的VM至关重要。然而,由于云工作负载的动态特性,开发一个准确预测云工作负载变化的模型极具挑战性。长短期记忆(LSTM)模型已经被开发用于云工作负载预测。不幸的是,最先进的LSTM模型利用递归来预测,这自然会增加复杂性,并随着输入序列的增长而增加推理开销。为了开发具有高准确度和低推理开销的云负载预测模型,本文提出了一种新的时间序列预测模型WGAN-gp Transformer,该模型受到Transformer网络和改进的Wasserstein-GAN的启发。该方法采用Transformer网络作为发生器,多层感知器作为评判器。对真实工作负载跟踪的广泛评估表明,WGAN-gp Transformer的推理时间比最先进的方法快5倍,预测精度高出5.1%。我们还将WGAN-gp Transformer应用于Google云平台上的自动伸缩机制,基于WGAN-gp Transformer的自动伸缩机制通过显著降低VM过度配置和不足配置率而优于基于LSTM的机制。
2022-03-12 cs.AI cs.DC cs.LG
FastEEP: Fast Intra-Instance Elastic Scaling for Expert-Parallel MoE Serving
Institute of Parallel and Distributed Systems (IPADS), Shanghai Jiao Tong University(上海交通大学并行与分布式系统研究所)
FastEEP是一种MoE服务的快速实例内弹性扩展系统,通过分离可复用结构与当前EP配置资源实现快速扩展,其扩展速度比现有vLLM方法快4.5-11.7倍,可高效细粒度扩展MoE服务。
2026-10-14 cs.DC cs.LG
Elastic Resource Management with Adaptive State Space Partitioning of Markov Decision Processes
现代大规模计算部署由在机器集群上运行的复杂应用程序组成。其中的一个重要问题是提供弹性,即,将资源动态分配给应用程序,以满足波动的工作负载需求。通常采用基于阈值的方法,但它们难以配置和优化。已经提出了基于强化学习的方法,但是它们需要大量的状态来对复杂的应用行为进行建模。已经提出了自适应划分状态空间的方法,但是它们的划分标准和策略是次优的。在这项工作中,我们提出了MDP_DT,一种新的全基于模型的强化学习算法的弹性资源管理,采用自适应状态空间划分。我们提出了两个新的统计标准和三种策略,我们的实验证明,他们正确地决定在哪里和何时分区,优于现有的方法。我们实验评估MDP_DT在一个真正的大规模集群在可变的未遇到的工作负载,我们表明,它需要更明智的决定相比,静态和无模型的方法,同时需要最少量的训练数据。
2017-02-09 cs.DC
Scalarization Methods for Many-Objective Virtual Machine Placement of Elastic Infrastructures in Overbooked Cloud Computing Data Centers Under Uncertainty
云计算中心在高度动态的环境中按需提供数千到数百万个虚拟机(VM),需要将所请求的VM快速放置到可用的物理机(PM)中。由于客户需求的随机性,虚拟机布局(VMP)应被表示为一个在线优化问题。这项工作的第一部分分析了解决问题的替代方案,考虑到几个实验工作量,对五种不同的在线确定性memetic算法进行了实验比较。仿真结果表明,首次拟合递减算法(A4)的平均性能优于其他评估的算法。这项工作提出了一个两阶段的计划制定的VMP问题,考虑在IaaS环境中的弹性和超额预订能力的三个目标函数的优化。两阶段模式公式描述了虚拟机的分配可以分为两个子问题,增量分配(iVMP)和布局的重新配置(VMPr)。为了分析替代方案,以解决制定的问题,三个不同的目标函数标量化方法的一部分,iVMP和VMPr的实验比较进行了考虑几个实验工作量。仿真结果表明,欧几里德距离原点优于其他评估的标量化方法的平均。为了描绘IaaS环境的动态特性,开发了一个可定制的工作负载跟踪生成器,以模拟虚拟机请求中具有弹性和超额预订资源的场景中的不确定性。实验结果证明,欧几里得距离比其他标度化方法更能提高功耗目标函数的值。
2018-02-12 cs.DC
CoT: Decentralized Elastic Caches for Cloud Environments
分布式缓存被广泛部署,以服务于数十亿用户规模的社交网络和Web应用程序。本文介绍了Cache-on-Track(CoT),这是一种用于云环境的分散,弹性和预测性缓存框架。CoT提出了一种新的缓存替换策略,专门针对服务于倾斜工作负载的小型前端缓存。前端服务器使用重命中跟踪算法来连续跟踪前k个热键。CoT动态缓存跟踪的键中最热的C键。我们的实验表明,CoT的替换策略始终优于命中率的LRU,LFU,和ARC相同的缓存大小上不同的倾斜工作负载。此外,当两个策略配置有相同的跟踪(历史)大小时,\algoname的命中率略高于LRU-2。与其他替换策略相比,CoT实现了服务器大小的负载平衡,前端缓存减少了50%到93.75%。
2020-06-18 cs.DB cs.DC
Bené: On Demand Cost-Effective Scaling at the Edge
边缘计算在许多领域和企业中变得越来越流行。然而,给定边缘的局部约束(即,只有附近的边缘是有用的),复用不同的工作负载变得具有挑战性。这导致为峰值需求提供的边缘资源的资源利用率很低。允许多路复用的一种简单方法是通过微型数据中心,使计算接近用户,同时支持整个数据中的各种工作负载以及边缘。在本文中,我们主张采用企业内部专用边缘资源和跨实体共享的微型数据中心中的按需资源的混合方法。我们表明,这种混合方法是一种有效且具有成本效益的方法,可以扩展工作负载,并消除每个企业过度配置专用资源的需求。此外,与仅使用跨企业边缘的扩展方法相比,微型数据中心还形成了可信赖的第三方,可以维护重要的服务质量保证,如数据隐私,安全性和可用性。
2018-06-25 cs.DC
workload forecasting and resource management models based on machine learning for cloud computing environments
工作负载预测和资源分配在高效云环境的生产中起着重要的作用。在决定资源分配之后对未来工作负载的主动估计已经成为处理其他内置挑战的优先解决方案,这些挑战包括物理机器的欠载/过载、资源浪费、服务质量(QoS)违规、负载均衡、VM迁移等等。在这种情况下,本文提出了一个全面的调查工作量预测和预测资源管理模型在云环境中。讨论了与云计算有关的工作负载预测和资源管理的概念框架、现有基于机器学习的资源分配技术的分类以及物理资源分配的低效分配的主要挑战。此后,全面调查现有的国家的最先进的贡献授权机器学习为基础的方法在云工作负载预测和资源管理领域。最后,本文探讨和总结了云环境下弹性资源管理面临的各种挑战和未来的研究方向。
2021-06-29 cs.DC
Design Principles for Scaling Multi-core OLTP Under High Contention
虽然最近在提高高吞吐量事务数据库系统的多核可伸缩性方面取得了重大进展,但现代系统仍然无法为涉及频繁访问高度竞争数据的工作负载实现可伸缩的吞吐量。大多数无法实现高吞吐量的原因是保证ACID所涉及的基本约束-增加核心导致更多的并发事务访问相同的竞争数据,这些数据的访问必须被序列化以保证隔离。因此,竞争工作负载的线性可伸缩性是不可能的。然而,在许多现代体系结构中存在缺陷,这些缺陷加剧了它们的可伸缩性差,并导致吞吐量比工作负载基本要求的要差得多。在本文中,我们确定了两个普遍的设计原则,限制了多核可扩展性的许多(但不是所有)事务数据库系统的竞争工作负载:在这些系统中的执行线程的多用途的性质,以及缺乏先进的规划数据访问。我们证明了这些设计原则的有害结果,通过实现一个原型系统,ORTHRUS,这是出于数据库组件功能和先进的交易规划的原则分离。我们发现,这两个原则单独导致显着提高可扩展性的高竞争的工作负载,和一个数量级的增加,这些竞争的工作负载的一个非平凡的子集的吞吐量。
2016-01-05 cs.DB cs.DC
ElastiCo: Elastic Configuration and Interference-Aware Orchestration for GPU Clusters
School of Software, Beihang University(北京航空航天大学软件学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与技术学院);School of Computer Science, University of Leeds(利兹大学计算机学院);School of Computer Science, University of Sydney(悉尼大学计算机学院)
ElastiCo是一种基于Kubernetes的弹性共置框架,通过资源形态转换、弹性影子定价、感知干扰共置三种机制,实现训练与推理工作负载安全共享GPU,显著降低平均JCT、提升集群吞吐量与GPU利用率。
2026-08-11 cs.DC
ElasticRec: A Microservice-based Model Serving Architecture Enabling Elastic Resource Scaling for Recommendation Models
KAIST(韩国科学技术院);School of Electrical Engineering(电气工程学院)
针对推荐系统按模型分配资源导致利用率低、成本高的问题,提出基于微服务和效用驱动分配的 ElasticRec 架构,实现细粒度弹性扩缩并显著降低部署成本。
2024-06-11 cs.DC cs.IR cs.LG
Performance Modeling and Workload Analysis of Distributed Large Language Model Training and Inference
Interuniversity Microelectronics Centre (IMEC)(校际微电子中心);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一个分析框架,用于建模分布式LLM训练与推理的性能,并分析技术扩展下瓶颈演变,为未来系统设计提供指导。
2024-07-19 cs.AR cs.DC cs.LG
Empirical Analysis of GPU Frequency Behavior Under ML Workloads
University of Oslo(奥斯陆大学);UiT The Arctic University of Norway(挪威北极大学)
研究英伟达GPU执行机器学习工作负载时频率缩放行为,发现低性能GPU频率受近期工作负载影响,挑战现有延迟预测假设,因GPU动态频率缩放引入内核间依赖,还给出利用此观察改进相关模型、策略及设计的方向。
2026-07-10 cs.DC
Improving resource elasticity in cloud computing thanks to model-free control
Université Paris-Sud-CNRS-CentraleSupélec, Université Paris-Saclay(巴黎南大学-法国国家科学研究中心-中央理工-高等电力学院,巴黎萨克雷大学);École polytechnique(巴黎综合理工学院);Université de Lorraine(洛林大学);AL.I.E.N. (ALgèbre pour Identification & Estimation Numériques)(AL.I.E.N.(代数用于识别与数值估计));Inagral
本文提出了一种基于无模型控制的方法,用于改善云计算中资源弹性的动态适应能力,在Amazon Web Services上进行了实验验证,证明其在负载波动时表现优于商业化的Auto-Scaling算法。
2018-10-08 cs.DC cs.SY eess.SY
Objcache: An Elastic Filesystem over External Persistent Storage for Container Clusters
本文提出objcache,一个基于外部存储的弹性文件系统,通过Raft日志事务协议和一致性哈希管理分布式状态,支持缩容至零,将模型服务启动速度提升98.9%。
2023-09-04 cs.DC
QoS-Aware Power Minimization of Distributed Many-Core Servers using Transfer Q-Learning
Newcastle University(纽卡斯尔大学)
跨分布式系统扩展的Web服务器需要复杂的运行时控制,以提供服务质量(QoS)保证以及在动态工作负载下最小化能量成本。本文提出了一种QoS感知的运行时控制器,其协同地使用水平缩放(节点分配)和垂直缩放(节点内的资源分配)方法来提供对工作负载的适应,同时在QoS约束(即,响应时间)。水平缩放根据一组规则基于工作负载需求和所需的QoS来确定活动节点的数量。然后,它与使用转移Q学习的垂直缩放相耦合,这进一步使用动态电压/频率缩放(DVFS)基于工作负载简档来调整功率/性能。它在最小探索状态内传输Q值,减少了探索要求。此外,该方法利用众核服务器的可扩展架构,允许重用来自完全或部分探索节点的可用知识。当结合使用时,与无模型Q学习相比,这些方法可以减少探索时间和QoS违规。该技术平衡了设计时和运行时成本,以最大限度地提高可移植性和操作的最优性,通过持久的功率降低与最小的QoS违规下不同的工作负载情况下的异构多处理节点的服务器集群。
2021-02-02 cs.AI cs.DC
RobustScaler: QoS-Aware Autoscaling for Complex Workloads
在云计算中,自动缩放是实现高效资源利用和令人满意的服务质量(QoS)的关键组件。本文研究了广泛使用的按查询扩展应用程序的主动自动扩展,其中每个查询都需要扩展,例如容器注册表和功能即服务(FaaS)。在这些场景中,工作负载通常表现出高度的不确定性,具有复杂的时间模式,如周期性,噪声和离群值。保守的策略,不必要地扩展许多实例导致高资源成本,而积极的策略可能会导致QoS差。我们提出RobustScaler,以实现成本和QoS之间的卓越权衡。具体来说,我们设计了一个新的自动缩放框架的基础上非齐次泊松过程(NHPP)建模和随机约束优化。此外,我们开发了一个专门的交替方向乘法器(ADMM)有效地训练的NHPP模型,并严格证明了我们的基于优化的主动策略提供的QoS保证。大量实验表明,RobustScaler在各种现实世界的跟踪中优于常见的基线自动缩放策略,并且对于复杂的工作负载模式具有很大的裕度。
2022-04-14 cs.DC
DYVERSE: DYnamic VERtical Scaling in Multi-tenant Edge Environments
Queen’s University Belfast(贝尔法斯特女王大学)
本文提出DYVERSE,一种轻量级动态垂直扩展机制,用于管理边缘环境中分配给应用的资源,以促进多租户环境。通过三种不同的优先级管理方法,DYVERSE减少了服务级别目标(SLO)的违反率,并在云边测试床上验证了其有效性。
2020-02-21 cs.DC cs.SY eess.SY
Optimization of Workload Mapping and Scheduling in Scaling Heterogeneous HPC Systems: A Systematic Literature Review
Institute of Computer Science Georg-August-Universität Göttingen / GWDG(哥廷根大学计算机科学研究所 / 哥廷根科学与数据中心)
本文综述 2017–2024 年 66 篇研究,分析异构 HPC 工作负载映射与调度工具,指出 NP-hard 难题及启发式局限,并倡导融合机器学习与量子计算的混合优化方法。
2026-10-06 cs.DC
AI-based Resource Allocation: Reinforcement Learning for Adaptive Auto-scaling in Serverless Environments
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);IBM Research & Development GmbH(IBM研发有限责任公司);IBM Deutschland GmbH(IBM德国有限责任公司)
近年来,无服务器计算已经成为云计算模型的一个引人注目的新范例。它承诺以大规模和低成本提供用户服务,同时消除对基础设施管理的需求。在云提供商方面,需要灵活的资源管理来满足波动的需求。它可以通过自动配置和取消配置资源来启用。商业和开源无服务器计算平台中的一种常见方法是基于工作负载的自动扩展,其中指定的算法根据传入请求的数量扩展实例。在最近发展的无服务器框架Knative中,提出了一种基于请求的策略,该算法通过配置每个实例可以并行处理的最大请求数量来扩展资源,即所谓的并发性。正如我们在基线实验中所展示的那样,这种预定义的并发级别可以强烈影响无服务器应用程序的性能。然而,由于各种因素,例如变化的工作负载和复杂的基础设施特性,识别产生最高可能的服务质量的并发配置是一项具有挑战性的任务,影响吞吐量和延迟。虽然对优化虚拟机配置的自动扩展的智能技术进行了大量研究,但在无服务器计算领域尚未讨论该主题。出于这个原因,我们研究了强化学习方法的适用性,该方法已在动态虚拟机配置中得到证明,可以在无服务器框架中基于请求的自动扩展。我们的研究结果表明,在有限的迭代次数内,我们提出的模型可以根据工作负载学习有效的扩展策略,与默认的自动扩展配置相比,提高了性能。
2020-05-29 cs.AI cs.DC cs.LG
The Graph Database Interface: Scaling Online Transactional and Analytical Graph Workloads to Hundreds of Thousands of Cores
本文提出图数据库接口(GDI),抽象性能关键组件以提供可移植API,并基于分布式内存RDMA架构设计图数据库,利用单边RDMA通信实现超十万核心的极致扩展,在OLTP和OLAP工作负载上性能提升数个数量级。
2023-11-20 cs.DB cs.DC
DynaServe: Unified and Elastic Execution for Dynamic Disaggregated LLM Serving
针对LLM推理中同址与分解式部署难以兼顾低尾延迟和高吞吐量的问题,提出基于vLLM的DynaServe系统,通过微请求拆分与两级调度实现弹性统一执行,显著提升SLO约束下的服务性能。
2025-05-22 cs.DC
Auto-scaling Approaches for Microservice Applications: A Survey and Taxonomy
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Tianjin University(天津大学);Quantum Cloud Computing and Distributed Systems (qCLOUDS) Laboratory, School of Computing and Information Systems, the University of Melbourne(墨尔本大学计算与信息系量子云计算与分布式系统(qCLOUDS)实验室);State Key Lab of IOTSC, University of Macau(澳门大学物联网智慧应用国家重点实验室)
本文综述了自2018年以来微服务应用的自动扩展方法,提出五维分类,探讨资源效率、成本效率及SLA保障,分析代表性方法的优缺点及适用场景。
2026-03-09 cs.DC
SageServe: Optimizing LLM Serving on Cloud Data Centers with Forecast Aware Auto-Scaling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院);Indian Institute of Science(印度科学学院);Microsoft(微软)
针对云数据中心LLM混合工作负载的SLA冲突与资源利用率低问题,提出SageServe框架,通过多时间尺度控制、流量预测与ILP优化,实现25%GPU小时节省、80%扩缩浪费减少及每月250万美元潜在成本节省,同时满足SLA。
2025-11-12 cs.DC
StatuScale: Status-aware and Elastic Scaling Strategy for Microservice Applications
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Queen Mary University of London(伦敦玛丽女王大学);Universitas Indonesia(印度尼西亚大学);University of Hyderabad(海得拉巴大学);State Key Lab of IOTSC, University of Macau(澳门大学物联网科学与工程国家重点实验室)
StatuScale通过状态感知和弹性扩展策略优化微服务应用的资源调度,减少响应时间并提高资源使用效率。
2024-07-14 cs.DC
Dilu: Enabling GPU Resourcing-on-Demand for Serverless DL Serving via Introspective Elasticity
针对无服务器深度学习系统中因静态分配导致的GPU碎片问题,提出Dilu系统,通过内省弹性机制实现二维协同扩缩容,显著降低碎片率并提升吞吐量与QoS保障。
2025-03-07 cs.DC
Cost-efficient Auto-scaling of Container-based Elastic Processes
在业务流程环境中,一个常见的挑战是提供必要的计算资源来执行单个流程步骤。以成本有效的方式解决这个问题的一个众所周知的方法是使用弹性的概念,即,以快速的方式提供基于云的计算资源,并在这些资源上执行单个处理步骤。现有的提供弹性进程的方法大多基于虚拟机(VM)。利用容器技术可以更细粒度地将过程步骤分配给计算资源,从而提高资源利用率和成本效率。在本文中,我们提出了一种通过应用四重自动扩展方法来优化弹性流程的资源分配的方法。主要目标是通过使用容器来最小化流程制定的成本。为此,我们制定和实现了一个多目标优化问题,应用混合线性规划,并使用转换步骤来分配软件服务的容器。我们彻底评估的优化问题,并表明它可以导致显着的成本节约,同时保持服务水平
2022-09-14 cs.DC
A Survey of End-to-End Modeling for Distributed DNN Training: Workloads, Simulators, and TCO
本文综述分布式 DNN 训练模拟器,从工作负载表示、仿真基础设施和含碳排放的 TCO 模型三维度比较现有工具,并指出趋势、局限与研究挑战。
2025-06-10 cs.DC
Technical Report: A Trace-Based Performance Study of Autoscaling Workloads of Workflows in Datacenters
为了改善客户体验,数据中心运营商提供了简化应用程序和资源管理的支持。例如,代表客户运行工作流的工作负载是期望的,但是需要越来越复杂的自动缩放策略,即,为客户动态供应资源的策略。虽然选择和调整自动缩放策略对于数据中心运营商来说是一项具有挑战性的任务,但到目前为止,相对较少的研究调查了工作流工作负载的自动缩放性能。补充以前的知识,在这项工作中,我们提出了该领域的第一个全面的性能研究。使用基于跟踪的模拟,我们比较了多个应用程序域中最先进的自动缩放策略、工作负载到达模式(例如,突发性)和系统利用水平。我们进一步研究了自动缩放和常规分配策略之间的相互作用,以及自动缩放的复杂性成本。我们的定量研究不仅关注传统的性能指标和最先进的弹性指标,而且还关注与时间和内存相关的自动缩放复杂性指标。我们的主要研究结果提供了关于以前未报告的操作行为的强有力的定量证据,例如,自动缩放策略在应用程序域中的执行方式不同,以及它们之间的差异有多大。
2017-11-24 cs.DC
Enhancing Elasticity of SaaS Applications using Queuing Theory
弹性是云计算的关键特征之一。弹性允许软件即服务(SaaS)应用程序提供商降低运行应用程序的成本。在采用面向服务架构模型开发的大型SaaS应用中,每个服务都部署在独立的虚拟机中,可以使用一个或多个服务来完成其任务。虽然,独立于其所需的服务扩展服务传播到其他服务的伸缩问题,大多数现有的弹性方法不考虑服务之间的功能依赖,这增加了违反服务水平协议的概率。本文将SaaS应用的体系结构建模为多类M/M/m处理器共享排队模型,在估计所需扩展资源时考虑服务之间的功能依赖性。实验结果表明,该模型在估计所需的虚拟资源扩展过程中的有效性。
2017-02-05 cs.DC
When More Cores Hurts: The Vector Database Scaling Paradox in HPC
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
本文评估了三种向量数据库在HPC系统上的扩展性能,发现工作负载特性限制延迟降低,增加核心可降低查询吞吐量达30.67%,扩展16倍仅提升5.46倍,揭示了云导向设计与HPC系统的不匹配。
2026-06-08 cs.DB cs.DC
In Cloud, Can Scientific Communities Benefit from the Economies of Scale?
云计算背后的基本思想是资源提供者为最终用户提供弹性资源。在本文中,我们打算回答一个关键问题,云计算的成功:在云,小型或中型规模的科学计算社区可以受益于规模经济?我们的研究贡献有三个方面:第一,我们提出了一种增强型的科学公有云模型(ESP),鼓励中小型组织向公有云提供商租用弹性资源;第二,在ESP模型的基础上,我们设计并实现了曙光云系统,可以将异构的科学工作负载整合到云站点上;第三,提出了创新的仿真方法,并进行了综合评价。我们发现,对于高吞吐量计算(HTC)和多任务计算(MTC)两种典型工作负载,曙光云相对于前两种公有云解决方案,为服务提供商最大节省了44.5%(HTC)和72.6%(MTC)的资源消耗,为资源提供商最大节省了47.3%的总资源消耗。为此,我们得出结论,对于典型的工作负载:HTC和MTC,DawningCloud可以使科学界从公共云的规模经济中受益。
2010-04-08 cs.DC
Collaborative Multi-Agent Reinforcement Learning Approach for Elastic Cloud Resource Scaling
本文提出一种基于多智能体系统的弹性云资源扩展优化方法,采用集中训练与分散执行强化学习框架及轻量级状态预测模型,实现全局协调与未来负载趋势识别,实验证明其在资源利用率、SLA违规控制和调度延迟上优于现有方法。
2025-07-01 cs.DC
ALVEC: Auto-scaling by Lotka Volterra Elastic Cloud: A QoS aware Non Linear Dynamical Allocation Model
资源分配中的弹性仍然是云计算中的相关问题。有许多学术和白皮书已经调查了这个问题并提供了解决方案。\textbf{Unfortunately, there are scant evidence of determining scaling number dynamically.}弹性被定义为通过调配和取消调配云资源来适应不断变化的工作负载的能力。受种群动力学和数学生物学的启发,提出了一种新的云数据中心资源分配模型ALVEC,通过自动调整模型参数来解决动态分配问题。提出的模型,由一个耦合微分方程称为Lotka Volterra(LV),票价更好的服务水平协议(SLA)管理和服务质量(QoS)。在理论和实证比较中,我们显示了真正弹性的证据。此外,ALVEC能够预测未来的负载并相应地分配VM。ALVEC模型是第一个无监督资源分配方案。
2018-05-18 cs.DC cs.NI
Humas: A Heterogeneity- and Upgrade-aware Microservice Auto-scaling Framework in Large-scale Data Centers
针对大规模微服务性能模式刻画中异构机器差异与升级漂移的挑战,提出Humas自动扩缩容框架,通过资源归一化、LSDD漂移识别与容量调整,显著提升资源效率与性能稳定性。
2024-06-22 cs.DC
FOS: A Modular FPGA Operating System for Dynamic Workloads
随着FPGA现在被部署在云端和边缘,需要可扩展的设计方法,可以将FPGA系统的硬件和软件组件中存在的异构性结合起来。此外,这些FPGA系统需要维护和适应不断变化的工作负载,同时提高应用程序开发人员的可访问性。然而,由于系统组件之间的依赖性和缺乏标准化的抽象层,当前的FPGA系统无法实现模块化和对多租户的支持。为了解决这一问题,我们引入了一个模块化的FPGA操作系统-- FOS,它采用了模块化的FPGA开发流程,允许每个系统组件的变化和不可知的EDA工具版本,硬件和软件层的异构性。此外,为了动态地最大化用户透明的利用率,FOS采用资源弹性调度来仲裁任何类型加速器的时域和空域中的FPGA资源。我们对不同FPGA板的评估表明,FOS可以在单租户和多租户环境中提供性能改进,同时大大缩短开发时间,同时提高灵活性。
2020-01-26 cs.DC
Topology-aware Preemptive Scheduling for Co-located LLM Workloads
Baichuan-Inc(百川公司)
针对共置 LLM 工作负载中抢占调度缺乏拓扑感知导致资源不匹配的问题,提出细粒度拓扑感知抢占式调度方法,使释放资源满足高优先级任务拓扑亲和性需求,将整体调度性能提升 55%。
2024-11-18 cs.AI cs.DC
Peacock: Probe-Based Scheduling of Jobs by Rotating Between Elastic Queues
在本文中,我们提出了Peacock,一种新的分布式基于探针的调度器,它可以处理低延迟的数据分析框架中的异构工作负载。Peacock缓解了\emph{Head-of-Line blocking}问题,即,较短的任务排队后的较长的任务,比国家的最先进的。为此,我们介绍了一种新的探针旋转技术。工人形成一个环形覆盖网络,并使用弹性队列旋转探测器。它是增强了一种新的探针重新排序算法在工人。我们通过跟踪驱动的模拟和分布式实验,在不同的负载和集群大小的Spark中,对两个国家的最先进的基于探针的解决方案的性能进行评估的孔雀。我们的大规模性能结果表明,Peacock在所有集群大小和负载方面都优于最先进的技术。我们的分布式实验证实了我们的模拟结果。
2018-05-11 cs.DC
An Auto-Scaling Approach for Serverless Environments Based on a Multi-Expert Consensus Mechanism
针对无服务器环境自动缩放难题,提出依赖感知自动缩放框架,集成多种技术,通过识别重要函数、预测资源需求、多模型共识及成本感知控制进行缩放决策,实验证明该方法能有效降低预测误差并减少成本。
2026-08-11 cs.AI cs.DC cs.LG
Flex: Grid-Responsive Provisioning and Scheduling for Elastic Cloud Clusters
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
CarbonFlex提出一种基于历史集群数据持续学习的碳感知资源供给与调度方法,扩展AWS ParallelCluster实现,在行业负载上较碳无关基线减排约57%,性能接近理想调度器。
2026-10-13 cs.DC
GraphFlash: Enabling Fast and Elastic Graph Processing on Serverless Infrastructure
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
GraphFlash提出一种基于无服务器基础设施的图处理框架,通过子图为中心的编程模型和共享外部存储实现无状态、细粒度执行,支持两种执行模式,优化系统级性能,显著提升执行效率并降低资源消耗。
2026-05-12 cs.DC cs.SY eess.SY
Multi-agent Reinforcement Learning-based In-place Scaling Engine for Edge-cloud Systems
针对边缘-云系统动态负载下资源扩缩容效率低的问题,提出基于多智能体强化学习的就地扩缩容引擎MARLISE,采用DQN和PPO算法,实现低响应时间与高资源效率,优于启发式方法。
2025-07-10 cs.DC
Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off
Dell Technologies Inc.(戴尔科技有限公司)
本文提出框架,通过TTFT-ITL可行集等揭示LLM并行配置随工作负载、SLO、上下文长度的转变规律,为感知SLO的并行选择提供方法。
2026-10-14 cs.AI cs.DC cs.LG
Blox: A Modular Toolkit for Deep Learning Schedulers
针对深度学习调度策略原型构建难、跨技术整合与对比评估难的问题,研究提出模块化工具包Blox,提炼核心抽象复现现有调度器并验证保真度,支持多场景调度评估与低代码扩展新型策略。
2023-12-19 cs.DC