DCSim: Computing and Networking Integration based Container Scheduling Simulator for Data Centers
本文提出DCSim容器调度模拟器，融合计算与网络建模，基于SimPy和Mininet实现数据中心容器调度仿真，以解决传统模拟器忽视网络影响的问题。
2024-11-21 cs.DC
Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads
随着机器学习的广泛发展，许多大型企业开始在许多产品中纳入机器学习模型。这些模型通常在共享的多租户GPU集群上进行训练。与现有的集群计算工作负载类似，调度框架旨在提供高效率，资源隔离，跨用户公平共享等功能。然而，基于深度神经网络（DNN）的工作负载主要在GPU上训练，与传统的大数据分析工作负载有两个显著的不同。首先，从集群利用率的角度来看，GPU代表了一个单一的资源，不能在用户之间以细粒度共享。第二，从工作负载的角度来看，深度学习框架需要群体调度，这降低了调度的灵活性，并使作业本身对运行时的故障缺乏弹性。在本文中，我们提出了一个详细的工作负载特性的两个月长的跟踪从一个大型企业的多租户GPU集群。通过将调度器日志与来自单个作业的日志相关联，我们研究了影响多租户集群上DNN训练工作负载的集群利用率的三个不同问题：（1）组调度和局部性约束对排队的影响，（2）局部性对GPU利用率的影响，以及（3）训练期间的故障。根据我们运行大规模操作的经验，我们提供了与DNN训练工作负载的下一代集群集群路由器相关的设计指南。
2019-08-08 cs.DC
Multitenant Containers as a Service (CaaS) for Clouds and Edge Clouds
针对云和边缘云中CaaS多租户隔离开销大的问题，提出原生多租户框架，租户共享集群，通过节点级切片实现隔离与定制，已开源并用于EdgeNet。
2023-04-21 cs.DC cs.NI
Fine-Grained Scheduling for Containerized HPC Workloads in Kubernetes Clusters
容器化技术提供轻量级的操作系统级虚拟化，并通过以低性能开销和低维护和扩展工作量打包应用程序来实现可移植性、可重复性和灵活性。此外，容器编排（例如，Kubernetes）在云中被广泛用于管理运行许多容器化应用程序的大型集群。然而，考虑容器化高性能计算（HPC）工作负载的性能细微差别的调度策略尚未得到很好的探索。本文针对Kubernetes集群中的容器化HPC工作负载进行细粒度调度策略，特别关注根据应用程序配置文件将每个作业划分为合适的多容器部署。我们在不同的管理层（应用程序和基础设施）上实现我们的调度方案，这样每个组件都有自己的重点和算法，但仍然与其他组件协作。我们的研究结果表明，我们的细粒度调度策略优于基线和基线与CPU/内存亲和力启用的政策，减少整体响应时间的35%和19%，分别，也提高了34%和11%，分别。与其他类似的HPC云框架相比，它们还提供了更好的可用性和灵活性来指定HPC工作负载，同时由于其多层方法而提供了更好的调度效率。
2022-11-21 cs.DC
Scheduling Applications on Containers Based on Dependency of The Applications
近年来，云计算技术已经成为提供硬件和软件基础设施的最关键的发展之一。容器技术是一种新的云技术，它增强了应用程序的启动，增加了在容器上部署应用程序的能力，并改善了主机资源共享。因此，增强云容器系统需要一个健壮的算法，有效地部署应用程序。大多数与容器技术相关的解决方案都集中在提高容器性能的负载均衡上。网络上的流量对容器的性能起着重要的作用。仅考虑负载均衡的容器部署可能不是最佳的调度策略，因为可能部署在容器云中的不同pod（区域）中的应用程序之间存在依赖性。该项目旨在开发一种算法，通过考虑应用程序之间的依赖关系以及负载均衡，将应用程序部署到容器中。该算法在提高吞吐量和减少网络流量方面比现有的集装箱调度算法表现更好。
2021-03-31 cs.DC
WattsApp: Power-Aware Container Scheduling
容器正在成为现代分布式系统中流行的工作负载部署机制。然而，存在有限的基于软件的方法（基于硬件的方法是昂贵的，需要硬件级别的改变）用于获得容器所消耗的功率以促进功率感知容器调度，这是有效管理分布式系统的基本活动。本文介绍了WattsApp，这是一个基于六步软件方法的工具，用于功率感知容器调度，以最大限度地减少服务器上的功率上限违规。所提出的方法依赖于一个基于神经网络的功率估计模型和功率封顶集装箱调度技术。实验研究是在实验室的环境中进行的10个基准部署在英特尔和ARM处理器上。结果表明，功效估计模型的数据汇集开销可以忽略不计-所有数据样本中近90%的数据可以在误差小于10%的情况下进行估计，平均绝对百分比误差（MAPE）小于6%。WattsApp的功率感知调度比英特尔基于运行功率平均限制（RAPL）的单个和多个容器的功率上限更有效，因为它不会降低服务器上运行的所有容器的性能。结果证实了WattsApp的可行性。
2020-05-30 cs.DC
Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning
University of Catania（卡塔尼亚大学）
针对多租户多加速器云环境中差异化 QoS 需求，提出基于深度强化学习的 DNN 在线实时调度算法，以截止时间命中率为 SLI，保障租户级和模型级服务质量。
2024-02-09 cs.AR cs.DC cs.LG
C-Balancer: A System for Container Profiling and Scheduling
Linux容器在最近一段时间获得了很高的人气。这种流行主要是由于容器相对于虚拟机（VM）的各种优势。这些容器是轻量级的，占用更少的存储，具有快速的启动待用时间，易于部署和更快的自动扩展。容器流行背后的关键原因是它们利用了微服务风格软件开发的机制，其中应用程序被设计为可独立部署的服务。有各种容器编排工具用于部署和管理集群中的容器。其中最突出的是Docker Swarm和Kubernetes。然而，当在节点上部署多个容器时，它们没有解决资源争用的影响。此外，它们不支持在发生攻击或资源争用增加的情况下进行容器迁移。为了解决这些问题，我们提出了C-Balancer，一个调度框架，用于在集群环境中有效地放置容器。C-Balancer通过定期分析容器并决定最佳容器到节点的位置来工作。我们提出的方法提高了容器的性能，在资源利用率和吞吐量方面。使用Stress-NG和iPerf基准测试的工作负载组合的实验表明，我们提出的方法实现了最大的性能提高58%的工作负载组合。我们的方法还将整个集群的资源利用率差异平均降低了60%。
2020-09-18 cs.DC
Joint Task Scheduling and Container Image Caching in Edge Computing
针对边缘计算中容器镜像下载受带宽限制的问题，提出联合任务调度与镜像缓存的深度强化学习算法及自适应缓存更新方法，实验显示总延迟和等待延迟平均分别降低23%和35%。
2023-10-01 cs.DC
THEMIS: Time, Heterogeneity, and Energy Minded Scheduling for Fair Multi-Tenant Use in FPGAs
NC State University（北卡罗来纳州立大学）
本文提出了一种改进的公平调度算法，通过考虑时空公平性、能耗优化以及异构区域约束，提升多租户FPGA资源分配的公平性和能效。
2025-05-06 cs.DC cs.OS
Online Container Scheduling for Low-Latency IoT Services in Edge Cluster Upgrade: A Reinforcement Learning Approach
针对边缘集群升级时传统云调度策略不适配、易影响运行任务的问题，提出基于策略梯度的强化学习在线容器调度算法，可将总任务时延较基线降低约27%。
2023-07-22 cs.DC
Scale: Deep Reinforcement Learning for Container Scheduling in Serverless Edge Computing
Nottingham Trent University（诺丁汉特伦特大学）；Loughborough University（拉夫堡大学）；University of Bologna（博洛尼亚大学）；TU Wien（维也纳工业大学）；University of Oregon（俄勒冈大学）
本文提出Scale框架，通过深度强化学习优化容器调度与资源分配，在动态负载下平衡系统稳定性和性能，实验证明其在决策效率和资源利用率方面优于整数线性规划求解器。
2026-05-15 cs.DC
SCHeMa: Scheduling Scientific Containers on a Cluster of Heterogeneous Machines
在数据驱动的科学时代，进行涉及使用异构计算集群分析大型数据集的计算实验是许多科学家日常工作的一部分。此外，为了确保他们的结果的可信度，这些分析很容易被其他研究人员重现是非常重要的。虽然近年来已经引入了各种技术，可以促进科学家在这方面的工作，但仍然缺乏将它们结合起来的开源平台。在这项工作中，我们描述和演示SCheMa，一个开源平台，促进异构集群上的计算分析的执行和再现性，利用容器化，实验包装，工作流管理和机器学习技术。
2022-03-22 cs.DC
Synergy: Resource Sensitive DNN Scheduling in Multi-Tenant Clusters
Microsoft Research（微软研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；VMware Research（威睿研究院）
训练深度神经网络（DNN）是企业和云数据中心中广泛流行的工作负载。现有的DNN训练算法将GPU视为主要资源，并根据作业请求的GPU数量分配其他资源，如CPU和内存。不幸的是，这些配置器没有考虑作业对CPU、内存和存储资源分配的敏感性的影响。在这项工作中，我们提出了协同，一个资源敏感的调度共享GPU集群。Synergy使用乐观分析来推断DNN对不同资源的敏感性;一些作业可能会受益于超过GPU比例的分配，而一些作业可能不会受到小于GPU比例的分配的影响。Synergy使用一种新的接近最优的在线算法，在共享多租户集群上调度的一组作业中执行此类多资源工作负载感知分配。我们的实验表明，与传统的GPU比例调度相比，工作负载感知的CPU和内存分配可以提高平均JCT高达3.4倍。
2022-08-24 cs.DC cs.LG
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley（加州大学伯克利分校）
提出DriftSched框架，通过运行时反馈驱动的漂移补偿和自适应偏差校正，解决多租户LLM推理中令牌漂移导致的调度问题，在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
Scheduling Deep Learning Jobs in Multi-Tenant GPU Clusters via Wise Resource Sharing
提出SJF-BSBF调度算法，通过智能GPU共享与梯度累积优化多租户集群DL作业调度，无需抢占即可降低平均完成时间27-33%，并优于激进共享策略17%。
2024-07-18 cs.DC
Resource-sharing Policy in Multi-tenant Scientific Workflow-as-a-Service Cloud Platform
社区中越来越多地采用科学工作流，这促使开发多租户平台，将这些工作流执行作为服务提供。因此，工作流即服务（WaaS）的概念已被研究人员创建，以解决未来的工作流管理系统（WMS）的设计，可以从一个单一的服务点服务于大量的用户。这些平台与传统的WMS不同之处在于，它们在运行时处理工作流的工作负载。传统的WMS通常被设计为在专用流程中执行单个工作流，而WaaS云平台通过在多租户环境模型中利用多个工作流执行来增强该流程。在本文中，我们探讨了一种新的资源共享策略，以提高系统利用率，并满足各种服务质量（QoS）的要求，从多个用户在WaaS云平台。提出了一种弹性预算约束的多工作流资源配置与调度算法，该算法通过鼓励资源共享来减少计算开销，从而在满足用户定义的预算的同时最小化工作流的最大完工时间。我们的实验表明，EBPSM算法可以利用资源共享的政策，以实现更高的性能，在最小化的最大完工时间相比，国家的最先进的约束调度算法。
2020-06-23 cs.DC
On Scheduling Ring-All-Reduce Learning Jobs in Multi-Tenant GPU Clusters with Communication Contention
在深度学习（DL）技术进步的推动下，机器学习和人工智能取得了惊人的成功。然而，对DL的快速增长的需求也导致了用于大规模DL训练的通信和资源密集型分布式训练任务，这些任务通常部署在GPU集群上。为了维持对DL训练的不断增长的需求，所谓的“环全归约”（RAR）技术最近已经成为一种有利的计算架构，以有效地处理GPU集群中的网络通信和计算负载。RAR最显著的特点是它消除了对专用参数服务器的需求，从而缓解了潜在的通信瓶颈。然而，当多个基于RAR的DL训练作业部署在GPU集群上时，由于DL训练作业之间的竞争，仍然可能发生通信瓶颈。到目前为止，仍然缺乏对如何设计基于RAR的DL训练作业的竞争感知资源调度算法的理论理解，这促使我们在这项工作中填补这一空白。我们的主要贡献有三个方面：i）我们开发了一个新的分析模型，该模型描述了与作业的工人分布相关的通信开销和与不同作业的协同定位相关的通信竞争; ii）基于所提出的分析模型，我们将问题表示为非凸整数规划，以最小化所有基于RAR的DL训练作业的完工时间。为了解决这个问题，是不适合优化算法设计的独特结构，我们重新制定成一个整数线性规划的问题，使可证明的近似算法设计称为SJF-BCO（最小的工作优先与平衡的竞争和开销）;和iii）我们进行了广泛的实验，以显示SJF-BCO的优越性超过现有的排序器。
2022-08-14 cs.DC
Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems
University of Catania（卡塔尼亚大学）
针对云环境下多租户DNN调度的SLA满足与硬件利用问题，提出考虑加速器异构性和带宽争用的低开销深度强化学习调度算法RELMAS，相比现有技术SLA满足率最高提升173%，能量开销低于1.5%。
2024-04-13 cs.AR cs.DC cs.LG
CASH: A Credit Aware Scheduling for Public Cloud Platforms
公共云提供了无数的服务，使其租户能够以灵活，简单和经济高效的方式处理大规模的大数据。租户通常使用大规模数据处理框架，如MapReduce，Tez，Spark等来处理他们的数据。租户可以配置他们的框架来运行框架本身的单个任务，或者使用YARN或Mesos等中间件集群管理器来仲裁公共云集群中的资源调度。集群管理器需要了解工作负载需求以及集群中CPU和磁盘等单个资源的状态。云提供商使用令牌桶机制来表示其硬件资源的服务质量。在本文中，通过我们在YARN，Hadoop和Tez中的变化，我们展示了如何使中间件集群管理器认识到集群中单个硬件资源的预期服务质量。我们优化的集群管理器与粗粒度的知识的任务要求和细粒度的知识的预期服务质量的集群中的硬件资源执行高度优化的任务布局。我们的优化实验表明，基于CPU信用的实例（如Amazon T3实例）是运行大数据工作负载的可行的成本效益选项。我们还表明，Hive仓库上的流式SQL查询可以加速高达31%，从而节省高达22%的公共云成本。
2020-09-11 cs.DC
Global Simulation-Guided Dynamic Operator Scheduling for Efficient Multi-Tenant Model Serving
Xiamen University（厦门大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Tsinghua University（清华大学）
本文提出SliceScheduler系统，通过全局映射图、全局仿真器等组件实现算子级调度，在维持SLA违规率低于9%的同时，将多租户LLM服务的令牌吞吐量提升1.10-2.29倍，有效提高GPU利用率。
2026-08-18 cs.DC cs.LG cs.OS
Hybrid Job-driven Scheduling for Virtual MapReduce Clusters
对于预算有限的租户来说，通过从VPS提供商租用多个虚拟专用服务器（VPS）来建立虚拟MapReduce集群是具有成本效益的。为了提供一个合适的调度方案，这种类型的计算环境，我们在本文中提出了一个混合作业驱动的调度方案（JoSS）从租户的角度来看。JoSS不仅提供作业级调度，而且提供映射任务级调度和约简任务级调度。JoSS根据作业规模和作业类型对MapReduce作业进行分类，并设计适当的调度策略来调度每类作业。目标是提高map任务和reduce任务的数据局部性，避免作业饥饿，并提高作业执行性能。JoSS的两个变化，进一步介绍了分别实现更好的地图数据的本地性和更快的任务分配。我们进行了广泛的实验，以评估和比较这两种变化与当前的调度算法支持Hadoop。结果表明，这两个变化优于其他测试算法的地图数据的局部性，减少数据的局部性，并在不产生显着的开销网络开销。此外，这两种变体分别适用于不同的MapReduce工作负载场景，并在所有测试算法中提供最佳的作业性能。
2018-09-11 cs.DC
LRScheduler: A Layer-aware and Resource-adaptive Container Scheduler in Edge Computing
本文提出并实现了边缘计算中基于容器镜像层信息的层感知与资源自适应调度器LRScheduler，通过节点评分、动态加权和负载均衡机制降低容器部署成本，并在Kubernetes框架上完成全流程自动化，实验证明其相比默认调度器能有效降低部署成本。
2025-06-04 cs.DC
Cloud abstractions for AI workloads
针对多租户云环境中AI工作负载因租户与提供商缺乏协调而效率低下的问题，提出HarmonAIze框架重新定义云抽象，通过协同优化提升性能、效率、弹性与可持续性，并概述了相关机遇与挑战。
2025-09-14 cs.DC
Grouper: Scheduling Groups for Multi-Tenant Microsecond-Scale Microservices
Sharif University of Technology（谢里夫理工大学）；Iran University of Science and Technology（伊朗科技大学）；KTH Royal Institute of Technology（皇家理工学院）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
针对多租户微秒级微服务，提出调度组机制，通过核心直接传递降低分配器负载，相比现有系统提升中位数和尾部延迟性能。
2026-09-15 cs.DC cs.OS
Elastic deep learning in multi-tenant GPU cluster
我们研究如何支持弹性，即，动态调整并行度（GPU数量）的能力，用于深度神经网络（DNN）训练。弹性可以在许多方面使多租户GPU集群管理受益，例如，实现各种调度目标（例如，作业吞吐量、作业完成时间、GPU效率），最大限度地利用瞬时空闲资源、性能分析、作业迁移和落伍者缓解。然而，现有的并行性调整策略带来了很高的开销，这阻碍了许多应用程序有效地利用弹性。我们建议EDL使用简单的API实现低开销弹性深度学习。我们提出了减少并行性调整开销所需的技术，例如无停止扩展和动态数据管道。我们还证明了EDL确实可以在GPU集群管理中为上述应用程序带来显着的好处。
2019-11-30 cs.DC
A Simulation Platform for Multi-tenant Machine Learning Services on Thousands of GPUs
University of Toronto（多伦多大学）；National University of Singapore（新加坡国立大学）；SenseTime（商汤科技）
多租户机器学习服务已经成为数据中心中新兴的数据密集型工作负载，其大量使用GPU资源。由于集群规模大、调整参数多、资源占用量大，在真实集群上对这些机器学习服务进行评估和基准测试通常是不切实际的。在这个演示中，我们提出了AnalySIM，一个集群模拟器，允许多租户机器学习服务的有效设计探索。具体来说，通过跟踪驱动的集群工作负载模拟，AnalySIM可以轻松测试和分析各种调度策略在GPU资源利用率等多个性能指标中的表现。AnalySIM基于物理拓扑和逻辑分区模拟集群计算资源。该工具已在SenseTime中使用，以了解不同调度策略的影响，并跟踪超过1000个GPU的实际生产集群。我们发现，抢占和迁移能够显着减少平均作业完成时间，减轻资源碎片化问题。
2022-01-10 cs.AI cs.DC
An Online Fragmentation-Aware GPU Scheduler for Multi-Tenant MIG-based Clouds
本文提出了一种面向多租户MIG云的在线碎片感知GPU调度器，通过引入碎片度量指标和贪心算法，有效减少GPU碎片化，提高工作负载调度效率。
2025-11-24 cs.DC cs.NI
CloudQC: A Network-aware Framework for Multi-tenant Distributed Quantum Computing
本文提出面向多租户量子云的框架CloudQC，通过设计电路放置与网络调度组件优化量子网络成本与计算时间，显著降低作业完成时间。
2025-04-29 cs.DC quant-ph
An Interference-aware Approach for Co-located Container Orchestration with Novel Metric
本文引入调度延迟作为量化干扰的新型指标，利用机器学习预测在线服务干扰并指导资源分配，提出基于预测模型的调度算法，有效降低在线服务响应时间并平衡节点资源利用率。
2024-02-14 cs.DC
GACER: Granularity-Aware ConcurrEncy Regulation for Multi-Tenant Deep Learning
针对多租户深度学习中异构模型并发导致的调度与资源利用问题，提出GACER框架，从时空粒度进行自动化调节，实现高利用率、高吞吐和低延迟。
2023-04-23 cs.DC
Trabant: A Serverless Architecture for Multi-Tenant Orbital Edge Computing
Trabant提出一种基于FaaS和时移计算的无服务器多租户轨道边缘计算架构，使共享卫星支持租户自定义在轨数据处理，并通过原型与真实遥测数据验证其能显著降低任务规划开销、提升可扩展性与效率。
2025-04-11 cs.DC
HEATS: Heterogeneity- and Energy-Aware Task-based Scheduling
云提供商通常为用户提供各种类型的硬件。客户利用此选项部署具有GPU、FPGA、x86以外的架构（例如，ARM、IBM Power8），或具有某些特定扩展（例如Intel SGX）。在这项工作中，我们考虑了客户用于部署容器的实例，现在容器是微服务的事实标准，或者用于执行计算任务。在这样做时，底层容器编排器（例如，Kubernetes）的设计应该考虑并利用这种硬件多样性。此外，除了不同机器提供的功能范围外，硬件异构性引入的能源需求的多样性经常被忽视，默认容器编排器的放置策略简单地忽略了这一点。我们介绍了HEATS，一个新的面向任务的和能源感知的编排容器化应用程序的目标异构集群。HEATS允许客户在性能与能源需求之间进行交易。我们的系统首先学习物理主机的性能和能量特征。然后，它监视主机上任务的执行，并适时地将它们迁移到不同的集群节点上，以匹配客户需要的部署权衡。我们的HEATS原型在Google的Kubernetes中实现。在我们的集群中使用合成跟踪进行的评估表明，我们的方法可以节省大量的能源（高达8.5%），并且对部署任务的整体运行时间的影响很小（最多7%）。HEATS是开源的。
2019-06-26 cs.DC
Dynamic Scheduling Strategies for Resource Optimization in Computing Environments
Western University（韦仕敦大学）
本文提出一种基于多目标优化的容器调度方法，通过引入优化模型和启发式算法，利用Google Cluster Data验证，显著提升了资源利用率、负载均衡与突发任务完成效率，为云原生环境下的智能资源管理奠定基础。
2024-12-23 cs.AI cs.DC
Closing the HPC-Cloud Convergence Gap: Multi-Tenant Slingshot RDMA for Kubernetes
本文针对融合 HPC-Cloud 环境中 HPE Slingshot 网络栈不支持多租户安全访问的问题，设计并实现了基于 Kubernetes 的扩展，以极低开销提供安全、容器粒度的多租户 Slingshot RDMA 访问能力。
2025-08-13 cs.DC cs.NI
Speculative Container Scheduling for Deep Learning Applications in a Kubernetes Cluster
在过去十年中，我们目睹了从各种来源收集的数据量急剧增加。数据爆炸改变了世界，因为比以往任何时候都有更多的信息可供收集和分析。为了最大化利用率，已经开发了各种机器和深度学习模型，例如CNN [1]和RNN [2]，以研究数据并从不同角度提取有价值的信息。虽然数据驱动的应用程序改进了无数的产品，但用于超参数调优的训练模型仍然是一个耗时且资源密集型的过程。云计算为深度学习应用的训练提供基础设施支持。云服务提供商，如Amazon Web Services [3]，为客户端创建一个隔离的虚拟环境（虚拟机和容器），客户端共享物理资源，例如，CPU和内存。在云上，实现了资源管理方案，以实现用户之间的更好共享，并提高系统范围的性能。然而，一般的调度方法，如分散优先级和平衡资源调度器，不能很好地与深度学习工作负载一起工作。在这个项目中，我们提出了SpeCon，这是一种新型的容器调度器，针对短期深度学习应用程序进行了优化。基于虚拟化容器，如Kubernetes [4]和Docker [5]，SpeCon分析了训练过程的共同特征。我们设计了一套算法来监控训练的进度，并推测性地迁移增长缓慢的模型，为快速增长的模型释放资源。具体来说，广泛的实验表明，SpeCon将单个作业的完成时间提高了41.5%，在系统范围内提高了14.8%，在完工时间方面提高了24.7%。
2020-10-21 cs.DC cs.PF
DeepPlace: Learning to Place Applications in Multi-Tenant Clusters
Adobe Research（奥多比研究院）；IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；IIT Bombay（印度理工学院孟买分校）；IIT Roorkee（印度理工学院鲁尔基分校）；Oakridge National Lab（奥克里奇国家实验室）
大型多租户生产集群通常必须处理具有各种复杂资源使用特征的各种作业和应用程序。手动创建用于调度的放置规则来决定哪些应用程序应该协同定位是不平凡的和非最佳的。在本文中，我们提出了DeepPlace，一种调度器，它使用深度强化学习（Deep RL）来学习利用应用程序的各种时间资源使用模式，以减少在同一台机器上运行的作业之间的资源竞争，同时优化整体集群利用率。
2019-07-30 cs.DC cs.LG stat.ML
Trustworthy Scheduling for Big Data Applications
Athens University of Economics and Business（雅典经济与商业大学）；National and Kapodistrian University of Athens（雅典国立卡波迪斯特里阿斯大学）
X-Sched通过整合反事实解释与机器学习模型，提供可操作的资源配置指导，提升容器化环境中的任务执行效率和透明度。
2026-01-26 cs.DC
COSCO: Container Orchestration using Co-Simulation and Gradient Based Optimization for Fog Computing Environments
由于现代工作负载应用的高度不稳定性以及用户对低能耗和响应时间的敏感要求，大规模雾平台中的智能任务放置和任务管理具有挑战性。已经出现了容器编排平台来缓解这个问题，现有技术使用调度来快速达成调度决策，或者使用AI驱动的方法，如强化学习和进化方法来适应动态场景。前者通常无法快速适应高度动态的环境，而后者的运行时间慢到足以对响应时间产生负面影响。因此，需要一种调度策略，既能在易变环境中有效地工作，又能降低调度开销。为了实现这一点，我们提出了一个基于梯度的优化策略，使用反向传播的梯度相对于输入（GOBI）。此外，我们通过开发耦合仿真和集装箱调度框架（COSCO）来利用预测数字孪生模型和仿真功能的准确性。利用这一点，我们创建了一个混合仿真驱动的决策方法，GOBI*，优化服务质量（QoS）参数。协同仿真和反向传播方法使这些方法能够在易变的环境中快速适应。使用GOBI和GOBI* 方法对雾应用的真实数据进行的实验表明，与最先进的算法相比，在能耗、响应时间、服务水平目标和调度时间方面分别有高达15%、40%、4%和82%的显著改善。
2021-07-09 cs.DC cs.PF
MuxTune: Efficient Multi-Task LLM Fine-Tuning in Multi-Tenant Datacenters via Spatial-Temporal Backbone Multiplexing
Shanghai Jiao Tong University（上海交通大学）；National University of Singapore（新加坡国立大学）
MuxTune通过时空骨干多路复用实现多租户数据中心中多个PEFT任务的高效并发执行，显著提升吞吐量和内存利用率。
2026-03-03 cs.DC
Tromino: Demand and DRF Aware Multi-Tenant Queue Manager for Apache Mesos Cluster
Apache Mesos是一个两级资源调度器，在多租户集群环境中提供跨多个用户的资源共享。计算资源（即，CPU、内存、磁盘等）根据主导资源公平（DRF）策略进行分配。Mesos框架（用户）根据其当前使用情况接收资源，并负责在分配范围内调度其任务。我们已经观察到，在多用户环境中，多个框架可能会导致公平性不平衡。例如，一个贪婪的框架消耗了超过其公平份额的资源，可以拒绝对其他人的资源公平性。DRF模块首先考虑具有最小主导份额的用户以获得其资源分配。然而，Apache Mesos的主分配模块中的默认DRF实现并不考虑每个用户/框架队列中任务的总体资源需求。这种意识的缺乏可能导致没有任何未决任务的用户接收更多的资源提供，而具有未决任务队列的用户由于其高主导份额而挨饿。我们已经开发了一个策略驱动的队列管理器，Tromino，为Apache Mesos集群的任务，为各个框架可以根据每个框架的整体资源需求和当前的资源消耗进行调度。Tromino的主导份额和需求感知以及基于这些属性的调度可以减少（1）由于框架特定配置而导致的不公平的影响，以及（2）由于未决任务队列中的较高资源需求而导致的不公平的等待时间。在最好的情况下，Tromino可以通过使用所提出的Demand-DRF感知策略来显着减少框架的平均等待时间。
2019-05-21 cs.DC cs.PF
DQN-Scheduler: A Multi-Objective Optimization Framework for Scheduling Microservices in Cloud Computing
The University of Western Australia（西澳大利亚大学）
本文提出DQN-Scheduler，一种基于强化学习的多目标优化框架，用于云环境中微服务调度，同时优化资源利用率、负载均衡、延迟、可靠性和可用性，实验证明其优于基准算法。
2026-09-15 cs.DC
iBrownout: An Integrated Approach for Managing Energy and Brownout in Container-based Clouds
云计算数据中心的能耗问题一直是众多研究者关注的焦点，而云计算能耗巨大的原因之一在于计算资源的低效利用。除了能源消耗，数据中心的另一个挑战是意外负载，这导致了过载和性能下降。与整个数据中心过载时无法正常工作的VM整合和动态电压频率缩放相比，通过动态停用应用程序可选组件（也被称为容器/微服务），brownout已被证明是一种有前途的技术，可以处理过载和能耗。在这项工作中，我们提出了一种集成的方法来管理基于容器的云数据中心的能源消耗和停电。\color{black}我们还评估了我们提出的调度策略与真实的痕迹在一个原型系统。实验结果表明，在保证服务质量的前提下，该方法比不采用节能技术的方法、掉电超订方法和自动缩放方法分别降低了约40%、20%和10%的能耗。
2018-03-22 cs.DC
CASA: A Framework for SLO and Carbon-Aware Autoscaling and Scheduling in Serverless Cloud Computing
本文提出CASA框架，在无服务器云集群中同时考虑碳足迹和SLO约束进行容器调度与自动伸缩，实验表明其碳足迹最多降低2.6倍、SLO违反率最多降低1.4倍。
2024-08-31 cs.DC cs.PF
Equilibria: Fair Multi-Tenant CXL Memory Tiering At Scale
Carnegie Mellon University（卡内基梅隆大学）；Meta
Equilibria通过多租户支持和灵活的公平策略，解决大规模数据中心中CXL内存分层的公平性和性能问题，提升性能达52%。
2026-04-20 cs.DC cs.OS
Differentiate Quality of Experience Scheduling for Deep Learning Inferences with Docker Containers in the Cloud
随着大数据驱动的应用程序的普及，例如智能手机上的人脸识别和Google Ads的量身定制推荐，我们正在朝着比以往任何时候都更加智能的生活方式迈进。各种神经网络驱动的模型在其智能的后端运行，以实现对用户的快速响应。支持这些模型需要大量基于云的计算资源，例如，CPU和GPU。云计算提供商根据客户占用的资源量向他们收费。客户必须平衡预算和体验质量（例如，响应时间）。预算依赖于个体企业主，所需的体验质量（QoE）取决于不同应用的使用场景。例如，自动驾驶汽车需要实时响应，但解锁智能手机可以容忍延迟。然而，云提供商未能向其客户提供基于QoE的选项。在本文中，我们提出了DQoES，用于深度学习推理的差异化体验质量调度器。DQoES接受客户端对目标QoE的规范，并动态调整资源以接近其目标。通过大量基于云的实验，DQoES表明，它可以针对各种QoE调度多个并发作业，并且与现有系统相比，可以实现高达8倍的满意度模型
2022-09-22 cs.DC cs.PF
AEGIS: Runtime-Guided GPU Collocation for Multi-Tenant Deep Learning Training
IT University of Copenhagen（丹麦技术大学）；University of Basel（巴塞尔大学）
CARMA通过优化GPU协同策略提升DL训练效率，减少能耗与执行时间
2026-10-07 cs.DC cs.LG cs.PF
LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving
University of Michigan（密歇根大学）；ByteDance（字节跳动）
针对多租户LLM服务中联合批处理导致的延迟归因难题，提出基于屋顶线模型的LLMVisor实时延迟归因模型，在微秒级高效运行，相比基线方法大幅降低预填充和解码阶段的相对误差
2026-08-11 cs.AI cs.DC
Isolated Scheduling for Distributed Training Tasks in GPU Clusters
本文针对GPU集群中分布式训练的网络争用问题，提出vClos方法通过联合优化网络拓扑和通信模式消除争用，并引入OCS-vClos减少资源碎片化，实验证明其优于现有调度策略。
2023-08-10 cs.DC
Workload Buoyancy: Keeping Apps Afloat by Identifying Shared Resource Bottlenecks
Umeå University（于默奥大学）
本文提出浮力抽象，通过整合应用指标与资源共享竞争洞察，提升多租户环境中任务调度的性能分析与优化能力。
2026-08-13 cs.DC
URSA: Precise Capacity Planning and Contention-aware Scheduling for Public Clouds
数据库平台即服务（dbPaaS）发展迅速，大量数据库被迁移到云上运行，以获得低成本和灵活性。新兴云依赖租户为其数据库工作负载提供资源规范。然而，他们往往高估了数据库的资源需求，导致不必要的高成本和低云利用率。一种自动建议满足每个数据库工作负载的性能需求的“刚好够用”的资源规范的方法是有益的。为此，我们提出了URSA，dbPaaS云的容量规划和工作负载调度系统。USRA由在线容量规划器、性能干扰估计器和竞争感知调度引擎组成。容量规划器为数据库工作负载确定最具成本效益的资源规格，以实现所需的联机性能。干扰估计器量化共享资源上的压力和对每个数据库工作负荷的共享资源争用的敏感度。调度引擎会仔细地跨云节点调度工作负载，以消除协同工作负载之间的不公平性能干扰。我们的真实系统的实验结果表明，URSA减少了27.5%的CPU使用和53.4%的内存使用的数据库工作负载，同时满足他们的性能要求。与此同时，与Kubernetes相比，URSA将协同工作负载之间的性能不公平性降低了42.8%。
2019-12-27 cs.DC
JoyNexus: Service-Oriented Multi-Tenant Post-Training for VLA Models
Peking University（北京大学）；Beihang University（北航）；Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）
针对VLA模型训练后处理问题，提出JoyNexus统一服务，解耦相关服务，多租户可通过API调用，引入组批处理提高效率，经评估能减少GPU时间，提升服务利用率。
2026-07-20 cs.AI cs.DC cs.SE
Multi-tenant Kubernetes Use Cases for AI, Secure Computing and Data Services, and More
University of Bristol（布里斯托大学）；Hewlett Packard Enterprise（惠普企业）
本文在HPE Cray EX超级计算机Isambard-AI上评估Kubernetes部署，针对AI、安全计算等场景设计用例，探讨挑战及Kubernetes作为批处理系统补充的发展方向。
2026-08-04 cs.AI cs.DC cs.PF
Task Containerization and Container Placement Optimization for MEC: A Joint Communication and Computing Perspective
针对MEC中容器部署导致的通信开销与资源不均衡问题，提出基于工作流的数学模型与多目标组合优化方法，联合优化任务容器化与容器放置，有效降低开销并平衡资源。
2023-05-23 cs.DC cs.NI
